Glaubitz wzniósł również mały budynek klasztorny o typowym dla tych czasów dachu mansardowym.
W 1770 (według innych źródeł w 1772), znów w Dzień Zesłania Ducha Świętego, były poświęcone ponownie odbudowane stacje Drogi Krzyżowej.
Kościół został częściowo zniszczony w 1812 przez armię napoleońską i później odrestaurowany. Klasztor dominikanów został zamknięty w 1850.
Założenie kalwaryjskie przetrwało wszystkie zawieruchy dziejowe aż do 1962, kiedy to litewski architekt Jonas Rimanstas Glemža podjął decyzję o wyburzeniu kaplic kalwaryjskich. W marcu 1963 zniszczono wszystkie kaplice, z wyjątkiem czterech, które stały w pobliżu kościoła. Obawiano się ich rozebrać, gdyż mógłby runąć kościół.
W maju 1990, już po odzyskaniu przez Litwę niepodległości rozpoczęto pracę nad odbudową kaplic. Najpierw zebrano materiały ikonograficzne i zdjęcia. Następnie przeprowadzono badania archeologiczne, zrobiono projekty i dopiero potem rozpoczęto odbudowę. Prace trwały 12 lat i po 40 latach, w maju 2003 ponownie poświęcono wszystkie stacje odbudowanej Drogi Krzyżowej.