Podczas najazdu moskiewskiego w 1654 roku Rosjanie spalili kościół, który został odbudowany jako drewniany* . Około 1674 pracę parafialną prowadzono w kościele karmelitów – „kościół spalony przez nieprzyjaciela, jeszcze nie odbudowany”. Kościół odbudowano około 1680 roku. mały|Kościół na początku XX wieku. Fot. Jan Bałzunkiewicz. W latach 1764–1782 kościół przebudowano na murowany, w stylu późnobarokowym. Dzieło to rozpoczął ówczesny proboszcz – ks. Antoni Jaszczołt, który zmarł w 1764 r., doprowadziwszy budowę do poziomu okien. W 1768 r. zakończono murowanie świątyni. Przebudowę zakończył w 1782 ks. Michał Fiedorowicz. Nowa świątynia posiadała dwie wieże, ołtarz główny i dwa ołtarze boczne, murowaną posadzkę oraz piwnice składające się z 12 katakumb, znajdujące się pod całą powierzchnią świątyni. 11 czerwca 1783 r. (wg tablicy znajdującej się w koście 13 lipca 1783 ɾ.) sufragan wileński Piotr Toczyłowski dokonał konsekracji kościoła. W ołtarzu umieszczono relikwie świętych męczenników Klemensa, Fauzaniusza, Eutropiusza i Donata.
W 1812 kościół został zajęty przez wojska napoleońskie i zamieniony na skład żywności. Remont budynku około 1825 roku prowadził proboszcz ks. Mateusz Cieślakiewicz. W 1840 roku pożar zniszczył wieże kościoła.