Para rozwiodła się w 1926, a była już żona Ostrowskiego wkrótce poślubiła Józefa Zarembę – polonistę pracującego w seminarium nauczycielskim prowadzonym przez Ostrowskiego.
W 1927 Ostrowski na półtora roku wyjechał na zlecenie Ministerstwa Wyznań Religijnych i Oświecenia Publicznego do Brazylii, gdzie został naczelnym instruktorem oświatowym nadzorującym szkoły dla tamtejszej Polonii. Po powrocie do Polski w 1928 został dyrektorem gimnazjum w Równem, a w latach 1931–1933 lub 1930–1935 pracował jako wizytator szkół w wileńskim kuratorium oświaty.
W 1933 został dyrektorem oraz nauczycielem polskiego, historii, geografii i filozofii w II Państwowym Gimnazjum Męskim im. Stanisława Sobińskiego w Rzeszowie. W rok po objęciu posady ożenił się ponownie, tym razem z polonistką żeńskiego gimnazjum w Rzeszowie Ewą Mrozówną.