W lutym 1454 r. zamek wraz z miastem poddał się wojskom polskim i gdańskim pod dowództwem Jana Maydenburga, a po II pokoju toruńskim stał się siedzibą polskich starostów. W latach 1655-1656 i 1659 był zajęty przez wojska szwedzkie. W 1664 roku wzmiankowana była "wieża wielka" i trzy narożne wieżyczki. Zamek został rozebrany po pożarze Tucholi w 1781 r. w celu pozyskania materiałów budowlanych na odbudowę miasta. Z czasem na terenie zamczyska powstała nowa zabudowa, która wchłonęła pozostałości średniowiecznych murów. W latach 1969-1982 prowadzono w miejscu zamku badania archeologiczne, ale były one prowadzone dyletancko. Architektura Zamek znajdował się w zachodniej części miasta, nad strugą Kicz i dużym stawem młyńskim. Jego umocnienia przylegały do murów miejskich. Składał się z zamku wysokiego i dwóch przedzamczy. Założenie zamkowe zostało rozpoznane w niewielkim stopniu i jego szczegółowa rekonstrukcja nie jest możliwa. Na podstawie lustracji z 1565 r. i wyników fragmentarycznych badań archeologicznych uważa się, że zamek wysoki założony był na planie czworoboku o wymiarach 48x23m i zabudowanych tylko dwóch skrzydłach. W wyższym skrzydle południowym znajdował się kościół oraz pomieszczenie reprezentacyjne. W drugim skrzydle, prawdopodobnie zachodnim, znajdowały się refektarz i kapitularz.