Barbary zostały przeniesione na zamek w Malborku, a po jego zajęciu przez Polaków na rozkaz króla Kazimierza Jagiellończyka przekazana do opactwa norbertanów w Czerwińsku. W 1457 roku zamek w Starogrodzie zajęły w zastaw wojska zaciężne walczącego po stronie krzyżackiej Bernarda Szumborskiego i nie zwróciły, pomimo postanowień kończącego wojnę II pokoju toruńskiego w 1466 roku. W 1478 roku wielki mistrz Marcin Truchsess von Wetzhausen podjął pertraktacje z następcami Szumborskiego w sprawie wykupu i przekazania Krzyżakom zajętych w zastaw dóbr, dzięki czemu Krzyżacy w czerwcu ponownie przejęli zamek co m.in. doprowadziło do wybuchu tzw. Wojny popiej z Polską. W 1479 roku rycerstwo polskie pod dowództwem Piotra Dunina, Jana Białego i Jana Zielezińskiego i wsparciu Gdańska pokonało wojska krzyżackie, a sam wielki mistrz musiał złożyć hołd królowi polskiemu i zwrócić Starogród i inne zamki. Od tego czasu zamek stał się siedzibą starostów królewskich. Odbudowa zniszczonego w wyniku działań wojennych zamku, nastąpiła w 1495 roku z inicjatywy króla Jana Olbrachta.