W 1414 roku, podczas wojny głodowej, Polacy ponownie zdobyli zamek i częściowo go zniszczyli. Konwent przeniesiono następnie do zamku w Przezmarku, zachowując jednak formalny tytuł komtura dzierzgońskiego.
Lustracja przeprowadzona w 1434 roku w częściowo zrujnowanym zamku wymieniała m.in. kościół zamkowy, skarbiec komturski, szafarnię, kuchnię konwentualną i komturską oraz karwan.
W 1454 roku, na początku wojny trzynastoletniej, warownię przejął Związek Pruski. Krzyżacy odzyskali ją wprawdzie jeszcze w tym samym roku, lecz z powodu utraty znaczenia strategicznego wkrótce ostatecznie ją opuścili.
Okres polski i rozbiórka zamku Po II pokoju toruńskim w 1466 roku Dzierzgoń wraz z zamkiem znalazł się w granicach Królestwa Polskiego. Wydano wówczas polecenie zniszczenia zamku, ale prawdopodobnie nie zostało ono wykonane w całości.
Źródła z 1647 i 1664 roku informują o bardzo złym stanie dawnego kościoła zamkowego. W 1664 roku zamek określano już jako od dawna zrujnowany; zachowywały się jeszcze przede wszystkim fragmenty murów kościoła.