Na mocy decyzji Aleksandra Jagiellończyka z 1505 roku zamek był w posiadaniu biskupów chełmińskich. W latach 1614–1646 biskupi rozbudowali zamek. W 1623 roku zatrzymał się na zamku król Zygmunt III Waza z małżonką Konstancją Habsburżanką oraz całym towarzyszącym im dworem. Zamek uległ zniszczeniu w czasie wojen szwedzkich w XVII wieku. W latach 1682–1693 przeprowadzono odbudowę zamku za sprawą biskupa Kazimierza Jana Opalińskiego oraz zbudowano pałac szachulcowy z wieżą z zegarem. W 1772 r. ponownie popadł w ruinę, a z 1777 r. pochodzi wzmianka o jego znacznym zniszczeniu. Wkrótce został sprzedany i po 1777 roku rozebrany w celu pozyskania materiału na budowę twierdzy grudziądzkiej.
W roku 1963 i 2017 archeolodzy przeprowadzili na zamku prace wykopaliskowe.
Architektura Dom konwentu (Zamek wysoki) wzniesiono na planie pięcioboku o rozpiętości około 50 m. Główna, dwupiętrowa i podpiwniczona zabudowa znajdował się wzdłuż zachodniego boku. Tam mieściły się główne pomieszczenia zamku średniowiecznego – refektarz, a w narożniku południowo-zachodnim kaplica z relikwiami św. Barbary. Północno-wschodni i południowo-wschodni bok domu konwentu zajmowały natomiast w średniowieczu parterowe budynki gospodarcze, mieszczące kuchnię, piekarnie i browar.