Wzmianka o pierwszej kostarowskiej cerkwi pochodzi z 1440 roku. Obecną drewnianą cerkiew św. Symeona Stupnika (Szymona Słupnika) wybudowano w 1872 roku. Po wysiedleniu greckokatolickich mieszkańców, została ona zaadaptowana na kościół filialny parafii w Strachocinie. Od listopada 2013 roku pełni funkcję kościoła parafialnego i nosi (dekretem ks. kard. Wyszyńskiego) wezwanie Narodzenia Najświętszej Marii PannyHistoria.. Trójdzielna, zestawiona z kwadratowych członów składa się z zamkniętego trójbocznie prezbiterium, szerszej nawy, babińca zwieńczonego czworoboczną wieżą i przedsionka poprzedzającego budowlę od zachodu. Przerobione w 1931 roku dachy zdobią nad nawą i prezbiterium dwie wieżyczki sygnaturek o kopulastych, krytych blachą hełmach. Wewnątrz zachowało się oryginalne wyposażenie, w tym ikonostas z XIX wieku. W 1987 roku cerkiew została rozbudowana i wyremontowana. W XIX oraz XX wieku cerkiew należała do parafii greckokatolickiej w Czerteżu.
Etnografia Według spisu z 1938 roku w Kostarowcach mieszkało 1040 grekokatolików i 220 rzymskich katolików. Obecnie wieś jest jednolita etnicznie.