W 1702 i 1707 roku miasto zostało zniszczone przez najazd wojsk saskich i litewskichA. Kowalewska, Zarys historyczny do 1793 r., [w:] Monografia Brześcia Kujawskiego, red. B. Głębowicz, Włocławek 1970, s. 62–65.. W 1707 roku ponownie zajęte przez wojska szwedzkie, a Karol XII przyjął tu posła Turcji. Znaczne spustoszenie poczyniła następnie w latach 1707–1709 epidemia dżumy. W wyniku tych wydarzeń pozostało w miasteczku tylko trzech gospodarzy. W 1717 roku sąd landwójtowski w Brześciu samowolnie skazał na śmierć na stosie posądzoną o czary wdowę Zofię Marchewkę, mimo że sąd nie miał do tego prawa, które było zarezerwowane wyłącznie dla sądów kościelnych. W 1782 roku istniały jeszcze bramy Toruńska i Krakowska oraz opustoszały zamek. W 1793 roku według w mieście mogło mieszkać około 700 osób.
W lutym 1793 miasto znalazło się w zaborze pruskim, od 1807 w Księstwie Warszawskim, a od 1815 w Królestwie Polskim w ramach zaboru rosyjskiego. W 1816 roku spłonął ratusz, który stał na rynku. W 1848 roku siedzibę powiatu przeniesiono z Brześcia do Włocławka.
W mieście urodził się działacz PPS Stanisław DuboisRada Ochrony Pomników Walki i Męczeństwa „Przewodnik po upamiętnionych miejscach walk i męczeństwa lata wojny 1939- 1945”, Sport i Turystyka 1988, , s.