9 września żołnierze stoczyli dwie potyczki z niemieckimi patrolami. Na wiadomość o tym, że Niemcy przekroczyli Wisłę, Rymut podjął decyzję o dalszej ewakuacji w kierunku wschodnim. Po uzyskaniu informacji o wkroczeniu na teren Polski wojsk sowieckich przekroczył z częścią oficerów i żołnierzy 19 września 1939 roku granicę z Rumunią, a potem przedostał się na Węgry, gdzie organizował przerzuty oficerów i żołnierzy polskich.
Pobyt w obozie internowania w Egerze na Węgrzech W czasie pobytu w obozie internowania w latach 1939–1944 pełnił różne funkcje. 6 stycznia 1940 roku w imieniu obozu składał z dwoma pułkownikami przysięgę „na wierność w nieustającej dalszej walce z wrogiem” przed generałem Dębińskim, szefem Przedstawicielstwa Polskich Żołnierzy Internowanych w Królestwie Węgier. Był współzałożycielem Funduszu Samopomocy i dopomożenia rodzinom w kraju oraz jego prezesem. 1 maja 1940 roku został starszym obozu i pełnił tę funkcję do 8 maja 1942 roku. „Miał renomę dobrego liniowca i organizatora, a przy tym był koleżeński i taktowny” – pisał o nim Tadeusz Lechowicki-Czechowicz w obozowych wspomnieniach. Jako starszy obozu brał udział w spotkaniach z władzami węgierskimi w Budapeszcie. 16 maja doznał ciężkiego zawału serca. Od 1943 roku kierował działem szkolenia wojskowego w obozie.