W 1805 roku na mocy decyzji papieża Piusa VII została utworzona diecezja kielecka. Diecezja ta istniała tylko 13 lat i w 1818 roku została zlikwidowana – powstała natomiast nowa diecezja sandomierska. W 1821 roku parafia liczyła 2566 dusz.
Po śmierci Żurkowskiego w 1827 nowym proboszczem został urodzony w Bielinach ksiądz Jędrzej Poniewierski. Największym zadaniem jaki postawił przed sobą było powiększenie kościoła oraz wybudowanie nowej dzwonnicy. Rozbudowa kościoła polegała na wydłużeniu nawy głównej, wymurowaniu klasycystycznej fasady z filarami i gzymsami ciosowymi oraz wystawieniu wieży z sygnaturką. Do nawy bocznej zakupiono obraz Matki Bożej z Dzieciątkiem Jezus autorstwa Żeleńskiego, nowe organy oraz monstrancję srebrną pozłacaną. Na frontonie przy wejściu pod figurami świętych Piotra i Pawła umieszczono dwie marmurowe tablice pochodzące z XVII ufundowane przez opata klasztoru świętokrzyskiego, późniejszego biskupa kijowskiego – Bogusława Radoszewskiego. Tablica z lewej poświęcona jest pamięci kardynała Zbigniewa Oleśnickiego, natomiast druga, jest tablicą nagrobną opata Stanisława, który wraz z innymi zakonnikami został zamordowany w czasie najazdu tatarskiego w 1260 roku.