Na krótko przed 1608 rokiem spalił się kościół farny i prawdopodobnie również część domów przy Rynku. W 1613 roku pożar strawił zabudowania plebańskie i mieszkalne dla wikariuszy oraz prawdopodobnie naruszył też farę. Dwa lata później, w 1615 roku, wybuchł wielki pożar, który strawił 31 domów. W 1655 roku miasto zostało niemal doszczętnie zniszczone przez Szwedów. W 1689 roku zgorzały doszczętnie 24 domy oraz żydowska bożnica. 14 kwietnia 1697 roku spłonęły 4 domy. 15 marca 1705 roku zgorzało 20 gospodarstw wraz z oborami i chlewami oraz plebania.
W 1707 w Kazimierzu Biskupim z rozkazu króla Szwecji Karola XII wykonano karę śmierci przez łamanie kołem na inflanckim generale Janie Reinholdzie von Patkul. Egzekucję upamiętniał postawiony w miejscu egzekucji głaz "Patkul", przeniesiony w późniejszym czasie, dzięki kazimierskiemu społecznikowi - Romanowi Gałązce, na kazimierski Rynek. W miejscu stracenia wzniesiono również figurę św. Jana Nepomucena. W 1707 roku wojska szwedzkie zniszczyły, w dość dużym stopniu, kazimierską farę oraz 13 domów mieszczan.