Kilkakrotnie gościli tu królowie polscy (Kazimierz Jagiellończyk, Zygmunt August, Stefan Batory, Zygmunt III Waza, Władysław IV, Jan III Sobieski). Przebywał tu również król szwedzki Karol X Gustaw i car Piotr Wielki. Był pustoszony w 1659 r. podczas potopu szwedzkiego i podczas kolejnych wojen w XVIII w. Został prawie doszczętnie rozebrany z polecenia króla pruskiego Fryderyka Wilhelma II w latach 1796-1804, a uzyskane w ten sposób cegły posłużyły budowie cytadeli i więzienia. Podobny los spotkał zamek krzyżacki w Rogóźnie. Z potężnej warowni pozostał zaledwie fragment muru parteru skrzydła południowego, piwnice (obecnie zasypane), filar mostu gotyckiego (obecnie zasypany, odnaleziony przez H. Jacobiego w 1942 podczas prac archeologicznych) i mury kurtynowe od strony ul. Zamkowej i Tkackiej. thumb|200px|Wieża Klimek lata 30. XX w. Wygląd zamku znany jest z przekazów ikonograficznych i z opisów lustracyjnych. Pozostał też Klimek, ocalony na osobiste życzenie królowej pruskiej Luizy podczas pobytu w Grudziądzu w ucieczce przed Napoleonem w 1806 r. Już w roku następnym górna część wieży uległa zniszczeniu podczas francuskiego oblężenia twierdzy. W 1839 r. Górę Zamkową (niem.