Od 1832 do 1840 roku wezwanie św. Trójcy nosił kościół należący do zamkniętego klasztoru dominikańskiego, stając się wówczas kościołem parafialnym. Po tym, jak władze rosyjskie zamknęły i tę świątynię, nabożeństwa przeniesiono do kaplicy cmentarnej na Złotej Górce, która w 1842 roku została podniesiona do rangi parafialnego kościoła Trójcy Przenajświętszej. W 1864 roku na miejscu drewnianej kaplicy zbudowano murowany, neogotycki kościół, który otrzymał to samo wezwanie.

Architektura Świątynia zbudowana na początku XVIII wieku stała na murowanym fundamencie i miała kształt „krzyża kawalerskiego” z dużą kopułą na środku, wokół której znajdowały się cztery niewielkie kaplice. Elementem głównej fasady były dwie niewielkie wieże ze złoconymi żelaznymi krzyżami, ozdobionymi metalicznymi kulami. W ołtarzu głównym znajdował się obraz św. Trójcy, po obu stronach którego stały złocone rzeźby świętych Piotra i Pawła. We wnętrzu znajdowały się jeszcze cztery inne drewniane ołtarze, z których dwa stały w kaplicach. Na chórach znajdowały się organy wykonane w 1745 roku. Obok kościoła stała dzwonnica z trzema dzwonami.