Zamek był oblegany w 1410 roku i, podobnie jak zamek w Malborku, nie skapitulował.

W czasie wojny trzynastoletniej obiekt był oblegany od 6 do 20 lutego 1454 roku przez rycerstwo pomorskie i posiłki z Chełmna dowodzone przez Ottona Machwica. Oblężenie zakończyło się kapitulacją krzyżackiej załogi. W listopadzie 1460 roku zamek zdobyli zaciężni krzyżaccy, którzy dostali się do niego łodziami przez gdaniskoTomasz Torbus, Zamki konwentualne Państwa Krzyżackiego w Prusach. Część II: Katalog, Słowo/Obraz Terytoria, 2023, ISBN: 978-83-7453-216-7. Załoga polska wycofała się na przedzamcze, które zdołała obronić. Z kolei w 1461 roku, po jedenastu miesiącach krzyżackiej obrony, zamek został zdobyty przez polskich zaciężnych finansowanych przez Toruń. W latach 1461–1502 warownia była własnością rady miejskiej Torunia. W latach 1508–1772 obiekt funkcjonował jako siedziba polskich starostów królewskich. W drugiej połowie XVI wieku został przebudowany w stylu renesansowym przez kasztelana chełmińskiego Jerzego Konopackiego. Zamek zniszczono w czasie wojen szwedzkich w XVII wieku i od tego czasu nie został odbudowany.