Cerkiew w Grabowcu została opuszczona po wyjeździe wiernych prawosławnych na bieżeństwo. Po odzyskaniu niepodległości przez Polskę i powrotach wiernych do dotychczasowych miejsc zamieszkania nowe władze nie zezwoliły na otwarcie świątyni, lecz przyłączyły Grabowiec do parafii w Bereściu, chociaż jeszcze w 1919 władze lokalne wymieniały grabowiecką cerkiew wśród przeznaczonych do ponownego oddania na użytek wyznawców. W Grabowcu przebywało wówczas 250 wyznawców prawosławia. Cerkiew w Grabowcu została wyświęcona na kościół św. Kajetana (na wniosek przeważającej ludności katolickiej – byłych unitów – mimo protestów pozostającej w mniejszości grupy prawosławnych), a następnie stała się siedzibą miejscowej szkoły i pełniła te funkcje przez jedenaście lat. Wyposażenie świątyni zabezpieczono poza jej budynkiem.