W latach 1454-1466 zamek oraz folwark został zniszczony w czasie wojny trzynastoletniej toczonej pomiędzy państwem zakonu krzyżackiego a Koroną Królestwa Polskiego. W 1457 miejscowość znajdowała się w ręku morawskiego rycerza w służbie zakonu krzyżackiego Bernarda Szumborskiego. W 1463 na mocy układu z królem polskim Kazimierzem IV Jagiellończykiem Bernard otrzymał gród starogrodzki w dożywocie. W 1466 na mocy traktatu toruńskiego miejscowość przeszła na własność królów polskich. W 1479 Starogród formalnie wraca do Polski. Zamek starogrodzki odbudowano w 1495 oraz w 1505 kiedy to stał się siedzibą biskupów chełmińskich.
W 1489 król polski Kazimierz IV Jagiellończyk nakazał starostom i dzierżawcom dóbr starogrodzkich uiszczać dziesięcinę należną biskupowi oraz kapitule chełmińskiej. W 1490 król polski Jan I Olbracht nadał biskupowi chełmińskiemu Stefanowi z Nidzicy wsie i dobra należące do zamku starogrodzkiego. W 1505 król polski Aleksander Jagiellończyk nadał biskupstwu chełmińskiemu grody Papowo oraz Starogród wraz z ich okręgami. W 1505 miejscowość znajdowała się na terytorium biskupstwa chełmińskiego, a w 1570 w kluczu starogrodzkim, w parafii starogrodzkiej i leżała w województwie chełmińskim Korony Królestwa Polskiego.