Kaplica mimo iż była jednym z bardziej okazałych pomieszczeń zamku, mieściła jedynie do dwudziestu osób, a choć odprawiano w niej niedzielną Eucharystię, sakramentów wciąż udzielano w kościele parafialnym w Szczedrzyku. Kaplica już wówczas była pod wezwaniem św. Karola Boromeusza, mediolańskiego kardynała, z rodzinny spowinowaconej z włoską gałęzią rodu Colonnów.
W związku z napływem ludności (związanym z rozwojem hutnictwa), ówczesny hrabia Filip Colonna w 1798 roku rozbudował kaplicę w kościół, darowując mu jednocześnie nieistniejące już dziś relikwie Świętego Krzyża. Dziedziczący okoliczne dobra hrabia Andrzej Renard umożliwił w latach 1838-1841 przebudowę dawnego zameczku myśliwskiego i powiększenie kościoła (prezbiterium długości 9,9 m, nawa długości 11,6 m, szerokości 12,45 m, wysokości 3,32 m). W roku 1839 przyznano świątyni charakter lokalii, zaś w 1857 – kuracji. Dalsze rozbudowy, m.in. o piętnastometrową wieżę z dzwonem odlanym w 1736 r., małą wieżyczkę sygnalizacyjną i nowy, podwyższony dach, miały miejsce do 1877 roku.