Najbardziej tragiczny okres miasta nastał w czasie Potopu szwedzkiego, gdy miasto i zamek zostało zniszczone w 1655, gdy spalono ratusz, kościół farny św. Stanisława i trzy baszty miejskie, następnie w 1656 roku, a na koniec w 1657, gdy miasto i zamek zostały doszczętnie spalone podczas wycofywania się Szwedów. Zniszczeniu uległo też szereg wsi w pobliżu miasta, m.in. zabici zostali wszyscy mieszkańcy wsi Stary Brześć. Samo miasto tak podupadło, że w 1661 mieszkało w nim potem tylko 3 rzemieślników (wcześniej 89), nie było w stanie płacić podatków, a zniszczenia były widoczne, wg relacji Ulryka Werduma, jeszcze w 1670 roku. W 1662 roku w Brześciu mieszkało około 350 osób. W 1673 roku w Brześciu mieszkało około 332 osób. W 1685 roku w mieście wybucha pożar. Kościół farny zaczęto odbudowywać dopiero około 1710 roku.