Odtąd proboszczowie wilkowyjscy byli proboszczami cieleckimi, a kościół w Cielczy określano jako "Ecclesia filialis in villa Czelcza" (kościół filialny we wsi Cielcza). W połowie XVII wieku umieszczono w kościele obraz Matki Boskiej Cieleckiej – patronki od gradobicia, wszelkich żywiołów i chorób. Obraz został namalowany przez nieznanego artystę, który na swym dziele pozostawił jedynie datę. W roku 1837 zrujnowany kościół św. Małgorzaty został zlicytowany, a drewno sprzedane za 8 talarów. Od tego czasu, aż do roku 1913, mieszkańcy Cielczy uczęszczali na nabożeństwa do kościoła w Wilkowyi.
Nowa świątynia thumb|Matka Boska Cielecka W 1912 roku rozpoczęto budowę nowego murowanego kościoła św. Małgorzaty. Projekt świątyni, zbudowanej na planie krzyża greckiego, opracował architekt poznański Stefan Cybichowski. Budowa, według projektu, miała kosztować ponad 60 tysięcy marek. Kościół został konsekrowany przez biskupa poznańskiego, Edwarda Likowskiego, w 1913 roku. Cielcza, po trzech wiekach, znów stała się samodzielną parafią, a mieszkańcy mogą uczęszczać na nabożeństwa do swojego kościoła.