W 1869 r. rozpoczęto budowę murowanej cerkwi, którą w 1875 r. poświęcono pod wezwaniem Podwyższenia Krzyża Świętego. Wzniesiona została ze środków państwowych oraz ofiar parafian. Część utensyliów i datków pieniężnych ofiarowało Moskiewskie Bractwo Cerkiewne. Inni ofiarodawcy przekazali Ewangeliarz i inne księgi liturgiczne, szaty liturgiczne, pozłacany krzyż, kielich i inne przedmioty.
W 1890 r. spłonęła kaplica cmentarna. Na jej miejscu wzniesiono w latach 1893–1895 drewnianą cerkiew, poświęconą w 1895 r. W 1909 r. przy cerkwi parafialnej zbudowano plebanię i budynki gospodarcze.
Działalność parafii przerwał wybuch I wojny światowej i udanie się wiernych (wraz z duchownym) na bieżeństwo; wywieziono wtedy też znaczną część wyposażenia cerkiewnego. Po zakończeniu wojny i odzyskaniu przez Polskę niepodległości, nowe władze nie zgodziły się na reaktywację parafii w Fastach;