Ówczesne budynki gospodarcze oraz mniejsze obiekty zakonne wybudowane z drewna, zostały ogrodzone płotem. Na skraju dzisiejszego ogrodu, na miejscu posiadłości tzw. Rusinowska, znajdował się browar należący do zakonników i studnia, z której czerpano wodę do warzenia bardzo mocnego piwa. W 1789 roku kolejny gwardian, o. Roch Szymański, rozpoczął budowę zachowanego do dziś murowanego klasztoru na planie litery L. Ogromne koszty tego przedsięwzięcia sprawiły, że nie wystarczyło pieniędzy na prace konserwacyjno-remontowe świątyni. Zostały one przeprowadzone dopiero w 1857 roku. Została wtedy wzniesiona neogotycka kruchta ulokowana między szkarpami od strony południowej. W ramach represji za pomoc udzielaną powstańcom styczniowym, rząd carski w 1864 skasował klasztor. Pozostał jednak o. Bonifacy Żórawski, który starał się utrzymać kościół w dobrym stanie. Po jego śmierci, od 1907 roku świątynia była zarządzana przez księży diecezjalnych. Gruntowny remont świątyni został przeprowadzony w latach 30. XX wieku przez księdza Jana Wieczorka-rektora świątyni i pofranciszkańskiego klasztoru. 29 sierpnia 1937 roku zakonnicy wrócili do miasta. Ale już w 1939 roku hitlerowcy usunęli franciszkanów, a klasztor został przez nich przeznaczony na kwaterę sztabu oficerskiego. W styczniu 1945 roku po raz kolejny zakonnicy wrócili do miasta.