W latach 1895–1896 na miejscu wyburzonej zrujnowanej kaplicy z 1836 r. (wybudowanej przez Dominikanów ryskich kosztem Baldaszewskiego) wzniesiono wspaniałą, wysoko sklepioną kaplicę fundacji rodziny Niemirowiczów-Szczyttów w stylu odrodzenia włoskiego. Fundatorem był znany dobrodziej rzymskokatolickiego Towarzystwa Dobroczynności w Rydze Justynian Niemirowicz-Szczytt z małżonką Józefą z Bohomolców oraz Maria z Niemirowiczów-Szczyttów Szemioth. W kaplicy znajdowały się trzy bogate ołtarze. Połączona była z kościołem parafialnym wysoką arkadą i pięknie kutą furtą przejrzystą. Kaplica została poświęcona w 1896 r. w dniu Zesłania Ducha ŚwiętegoGustaw Manteuffel, Notatki o dziejach wiary rzymskokatolickiej w Rydze (1201-1901 r.), Warszawa, 1902, s. 78–79, 88.Teodor Żychliński, Złota Księga Szlachty Polskiej, Rocznik IV, Poznań 1882, s. 370..
Na przełomie XIX i XX wieku w Rydze powstały kolejne kościoły katolickie: św. Franciszka (1892) i św. Alberta (1903) – początkowo jako filie parafii Matki Boskiej Bolesnej.