W 1731–1797 w klasztorze mieściło się studium teologii moralnej i retoryki.
Klasztor bernardyński działał do 1858, gdy został zlikwidowany na polecenie władz rosyjskich. W 1864 dawne budynki mieszkalne dla zakonników przejęło rosyjskie wojsko, w końcu stulecia obiekty te zostały całkowicie rozebrane. Kościół pobernardyński pozostawał nieprzerwanie czynny. Był ośrodkiem kultu wizerunku Matki Boskiej Budsławskiej, który pozostawał silny także w dwudziestoleciu międzywojennym, zamarł w okresie radzieckim i został wznowiony w 1992. Po okresie sprawowania posługi przez księży diecezjalnych, w 1995 ponownie świątynię objęli bernardyni. W dniu 11 maja 2021 r. z niewiadomych przyczyn na poddaszu kościoła wybuchł pożar w wyniku którego spłonął cały dach, lecz dzięki sprawnej akcji strażaków uratowano sklepienie i ściany. Dach odbudowano ze środków zgromadzonych w ramach ogólnokrajowej zbiórki.