Zamek został spalony w 1657 roku podczas potopu szwedzkiego. Po II rozbiorze Polski Brześć został zajęty przez Prusaków, którzy rozebrali zabudowania zamkowe i na fundamentach średniowiecznego głównego domu zamkowego zbudowali około 1800 roku budynek, w którym ulokowano więzienie kryminalne określane jako "Dom Kary i Poprawy". Pruskie, a potem rosyjskie więzienie, mieściło się na terenie zamkowym do 1916 roku. W 1919 roku budynek więzienia został przebudowany w stylu neoklasycystycznym na Szkołę nr 1 im. Władysława Łokietka, która działała tu do 1986 rokuZamek Królewski.. Z zamku Kazimierza Wielkiego przetrwały jedynie fundamenty w podziemiach istniejącego budynku.
W 1986 roku Romualda Hankowska i Z.Nawrocki przeprowadzili wstępne studia architektoniczne istniejącego na terenie zamku budynku szkolnego, a w latach 1989-1992 na terenie zamku przeprowadzono badania archeologiczne pod kierunkiem prof. dra hab. Leszka Kajzera. Od lat 90. XX wieku na parterze budynku mieścił się Urząd Pocztowy, a na piętrze biblioteka miejska. W 2020 roku budynek wystawiono na sprzedaż.
Galeria centruj|mały|714x714px|Panorama Brześcia Kujawskiego w 1657 r. od zachodu, miedzioryt na podstawie rys. Erika Dahlbergha.