W 1737 kościół i klasztor zostały ponownie zniszczone przez pożar. W kościele zawaliło się sklepienie prezbiterium. Kościół zdołano odbudować ale w 1748 znów spłonął w pożarze. Jego odbudową kierował jezuicki architekt, profesor Akademii Wileńskiej, ksiądz Tomasz Żebrowski. W nowym głównym ołtarzu umieszczono obraz Szymona Czechowicza. Przez klasztor przeszło wielu znanych jezuitów jak: św. Andrzej Bobola, Maciej Sarbiewski, czy Marcin Poczobutt-Odlanicki. thumb|left|Wnętrze kościoła W 1773, w chwili kasaty zakonu jezuitów w budynkach klasztornych przebywało 88 zakonników. Konwentowi podlegały ponadto misje w Duksztach Pijarskich i Pelikanach. W opustoszałym klasztorze umieszczono seminarium duchowne (1744–1798). Figurkę Matki Boskiej Nowicjackiej jezuici zabrali do Połocka, gdzie przetrwały ich ostatnie placówki pod zaborem rosyjskim. Po 1820 jezuici zostali wydaleni z Połocka i udali się do Starej Wsi pod Brzozowem w Galicji, zabierając ze sobą figurkę. W 1798 władze rosyjskie urządziły w klasztorze koszary, a w 1869 w kościele kasyno oficerskie, dewastując przy okazji jego wnętrze.