Po prowadzonej z Koroną Królestwa Polskiego wojnie trzynastoletniej Krzyżacy w 1469 roku zastawili zamek braciom Hansowi i Anzelmowi von Tettau jako gwarancję wypłacenia żołdu, następnie zamek był w rękach różnych właścicieli do 1525 roku, gdy po sekularyzacji Zakonu ponownie stał się własnością państwową i siedzibą książęcego starosty. Z inwentarzy z XV i XVI wieku wynika, że w tym czasie na zamku mieściła się kaplica św. Katarzyny oraz browar, spiżarnia, piekarnia, kuchnia i zbrojownia.
Faza barokowa thumb|220px|left|Widok zamku w 1684 r. (po prawej) W 1656 roku zamek został zniszczony przez sprzymierzonych z Polską Tatarów, którymi dowodził Subchan Gazi aga, w związku z czym podczas odbudowy przebudowano go na rezydencję barokową o niewielkich już wartościach militarnych. Kształt zamku po przebudowie zamku ukazują widoki miasta z 1684 i 1717 roku. W 1 połowie XVIII wieku generał H.H. Katt zburzył młyn na przedzamczu i wybudował nowy przekopując nowy kanał. Wybito też szereg nowych okien. W latach 1734 i 1736 na zamku przebywał król Stanisław Leszczyński, skąd udał się na wygnanie do Francji. W 1752 roku władze przeznaczyły zamek na biura sądu miejskiego i ziemskiego. Przejściowo umieszczono też w zamku więzienie. Zamek w XIX wieku W 1807 roku podczas kampanii napoleońskiej na zamku mieścił się szpital dla żołnierzy.