Ks. Orłowski pełnił posługę proboszcza do śmierci 13 lutego 1891. W tym samym roku proboszczem został ks. Józef Baranowski, jeszcze w tym samym roku teren kościoła ogrodziła własnym sumptem rodzina Dżimszeraszwili. W 1894 wybudowano z drewna orzechowego ambonę, zdobioną motywami roślinnymi i herbem papieskim oraz wstawiono ławki. W tym samym roku zainstalowano zamówione w lwowskim przedsiębiorstwie Jana Śliwińskiego „Harmonia” 14-głosowe organy. Wystosowano przy tym do władz carskich pismo z prośbą o zwolnienie instrumentu z opłat celnych, jako że „parafianami są głównie żołnierze z oddziałów wojskowych”. Prośbę odrzucono. Organy przejechały koleją ze Lwowa do Odessy, następnie statkiem do Batumi i znów koleją do Tbilisi.
W okresie 1870–1873 z powodu trudności finansowych używano materiałów nie najwyższej jakości, jak odnotowano w dokumentach komisji badającej stan budowli, stało to się przyczyną pękania ścian i już w 1894 zadecydowano o konieczności wykonania remontu oraz wzmocnienia konstrukcji. Przy remoncie w obliczeniach zakładano wzmocnienie ścian tak, aby mogły wytrzymać trzęsienie ziemi.