16 lutego 1758 r. w świątyni został ochrzczony Julian Ursyn Niemcewicz. Później pisarz wielokrotnie do niej pielgrzymował i modlił się przed obrazem Matki Bożej, m.in. 1 września 1809 r. i 28 czerwca 1819 r. Około 1830 r. spalił się budynek klasztorny, jednak kolator Paweł Jagmin zobowiązywał się do przeprowadzenia jego odbudowy. W 1831 roku w klasztorze mieszkał opat Tesselin Biculewicz, jedenastu cystersów i dwóch kartuzów z klasztoru w Berezie Kartuzkiej. W sierpniu 1832 na skutek represji rosyjskich po powstaniu listopadowym skasowano klasztor cystersów. Kościół katolicki św. Zofii, w którym znajdował się cudowny obraz Bogarodzicy, władze rosyjskie rozkazały zamknąć w lutym 1834 roku. W 1840 roku kościół zamieniono na cerkiew prawosławną Podwyższenia Krzyża Świętego. Barokowe budynki klasztorne popadły w tym czasie w ruinę i w 1904 roku proboszcz prawosławny rozebrał je w celu pozyskania cegły na sprzedaż, poza fragmentem przeznaczonym na szkołę (dawny „dom przeora”). Od 22 maja 1921 świątynia ponownie funkcjonowała jako kościół katolicki, ale nie odtworzono tu parafii i była to filia kościoła w Czernawczycach. W 1936 roku katolicy otynkowali kościół i naprawili dach.