W ścianach wmurowane epitafia i tablice nagrobne rodziny Gostkowskich z 1859 roku, oraz inne epitafia z 1881 i 1885 roku. Dzwonnica przy kaplicy wolnostojąca, murowana z ok. 1859 roku w stylu neogotyckim, na planie kwadratu. Kaplica otoczona ogrodzeniem murowanym z kratą metalową z 1883 roku, odnowione w 1943 roku.
Po zlikwidowaniu cmentarza przy kościele parafialnym w końcu XVIII wieku, nowy cmentarz został otwarty przy kaplicy, czyli poza obręb miasta. Później, już w czasie zaborów, cmentarz przeniesiono jeszcze dalej, w miejsce, gdzie znajduje się on obecnie. Na cmentarzu przy kaplicy była mogiła powstańców z 1863 roku, ziemna z drewnianym krzyżem. Gdy w latach 60. XX wieku porządkowano teren dawnego cmentarza wszystkie szczątki z istniejących mogił zostały ekshumowane i złożone w podziemiach kaplicy pw. św. Trójcy. Po dawnej mogile powstańczej nie pozostał obecnie żaden ślad.