Dopiero w 1646 zawarto umowę z majstrem mularskim Szymonem Tarasowiczem, który według dostarczonego mu projektu miał wybudować murowany klasztor.
W latach 1691–1764 wspólnotę zakonną stanowiło 5-8 kapłanów (dla porównania w 1703 w klasztorze wileńskim było ich 12, w krakowskim 17). W 1820 przebywało w Krzemienicy 11 kanoników, w 1825 było ich tylko 4, zaś w 1832 obsadę klasztoru stanowiło 8 kapłanów. W tymże roku tutejsza placówka uległa kasacie, dokonanej przez władze rosyjskie w ramach likwidacji klasztorów w tzw. zachodnich guberniach Cesarstwa Rosyjskiego.
Od 1835 budynek klasztorny został w większej części zajęty na lazaret wojenny, który miał być przebudowany na koszary, co tylko częściowo doszło do skutku. Prawdopodobnie z tego czasu pochodzi istniejąca do dziś oficyna, być może wzniesiona przez architekta Aleksandra Grodeckiego, który prowadził prace remontowe przy tutejszym kościele. W 1864 z funduszy rządowych wybudowano kolejne budynki koszar a w 1907 rozpoczęto starania o zwrot lub odsprzedaż parafii zabudowań poklasztornych. W 1909 wojsko raczej już tam nie przebywało, lecz nadal wykorzystywało budynki poklasztorne do rozmaitych celów – m.in.