Zamek był na tyle silny, że jesienią 1330 roku nie był w stanie go zdobyć król Władysław Łokietek mimo wsparcia wojsk węgierskich i litewskich, w związku z czym 18 października 1330 król zawarł tu rozejm z Krzyżakami. W 1410 roku zamek zajęły wojska Władysława Jagiełły. W 1411 roku Krzyżacy pojmali na zamku wspierającego Polskę rycerza Mikołaja z Ryńska (Nicolaus von Renys), którego następnie ścięli na rynku w Grudziądzu. Od II pokoju toruńskiego z 1466 roku zamek przyłączony został do Polski i od tego czasu aż do 1655 roku była to siedziba polskich starostów z rodu Kostków i osób z nim spokrewnionych. Ostatnim starostą z rodu był Stanisław Franciszek Kostka. Po nim starostwo przejął z dniem 16 września 1655 Albrecht Czerski.
Zabudowania zostały częściowo zniszczone w czasie wojen polsko-szwedzkich w XVII wieku. Zamek został zniszczony w wyniku ciężkich walk podczas potopu szwedzkiego w 1659 roku i już nie odbudowany. Po I rozbiorze Polski w 1772 r. zabudowania zostały rozebrane w większości przez Prusaków. Obszar zamku wchodził w skład folwarku z dworem funkcjonującego do XX wieku.
W latach 60.