Superior Jan Fidelecki OSBM rozpoczął staranie o budowę murowanej świątyni.
Zabór rosyjski W latach 1769–1771 przebudowano kościół dzięki funduszom Tadeusza Ogińskiego. W 1773 roku klasztor należał do prowincji litewskiej, mieszkało w nim 5 kapłanów. W 1774 nastąpiło zakończenie budowy kościoła, wzorowanego na świątyni franciszkanów w Siennie.
mały|lewo|Obraz Matki Bożej Tadulińskiej W głównym ołtarzu umieszczony był cudowny obraz Matki Bożej: „na głównym ołtarzu, we framudze pod błękitnym drewnianym, złota korona uwieńczonym namiotem”, zwany w okolicy obrazem Matki Boskiej Tadulińskiej. Z tego też względu, że stawało się to miejsce sanktuarium pielgrzymkowym, jeszcze za życia fundatora – Tadeusza Ogińskiego, podjęto starania o przyznanie prawnego statusu dla miejsc świętych. W 1783 wydano nakaz zdejmowania nakrycia głowy przez Żydów podróżujących w pobliżu kościoła. W 1793 dokonano poświęcenia świątyni przez posługę abp.