Pomimo zakrojonej na szeroką skalę obławy na uciekinierów, udało mu się przedrzeć nocami do oddalonego o 50 km Greszczyna, gdzie znalazł schronienie u wymienionego wcześniej Jurka.
Równolegle syn, został przewieziony do WUBP w Łodzi i przesłuchiwany. Łódzka bezpieka nie wiedziała o aresztowaniu „Starego” w Kielcach. W sierpniu przy pomocy siostry Kazimiery udało mu się zbiec i ukryć w Łodzi u zaprzyjaźnionej rodziny Żydów z Radoszyc, którym ojciec wcześniej pomagał.
Ukrywanie się i ucieczka z kraju Wyrwowie wyjechali następnie na ziemie zachodnie. Pracował w Czerwieńsku pod nazwiskiem Józef Sułek. Jednocześnie próbował stworzyć na miejscu ruch antykomunistyczny. W styczniu 1947 r. został przejściowo aresztowany jako jedna z osób mogących negatywnie wpłynąć na przebieg „wolnych i demokratycznych wyborów” do Sejmu Ustawodawczego. Zagrożony dekonspiracją, podjął z synem decyzję o przedostaniu się na Zachód.