Ze stanowiska tego został odwołany 29 sierpnia 1924 w związku z krytycznym stosunkiem do polityki państwowej wobec ludności niepolskiej na wschodzie, której to polityce zarzucał publicznie po odwołaniu ze stanowiska uzależnienie od interesów miejscowych Polaków i ignorowanie (szczególnie przez Stanisława Grabskiego) odrębności narodowej Ukraińców i nastrojów ludności prawosławnej.
Osiadł w Margoninie w województwie poznańskim, gdzie publikował na temat Prus Wschodnich, we współpracy ze Związkiem Obrony Kresów Zachodnich (ZOKZ). W 1925 na łamach „Strażnicy Zachodniej” (nr 1–3), organu ZOKZ, ogłosił cykl artykułów Z krainy Czarnego Krzyża.
Był współzałożycielem Instytutu Bałtyckiego w Toruniu, który miał prowadzić działalność badawczą i informacyjną w zakresie problemów polsko-bałtyckich. W kwietniu 1926 Srokowski został jego dyrektorem, jednak, choć potraktowany życzliwie przez Ministra wyznań religijnych i oświecenia publicznego oraz MSZ, nie otrzymał wsparcia ze strony wojewody pomorskiego Stanisława Wachowiaka i 1 lipca tego roku zrezygnował z tej funkcji.
Opracował podręczniki Geografia gospodarcza Polski (1931, 1939) i Geografia gospodarcza ogólna (1934). W maju 1931 został wyróżniony godnością członka honorowego Towarzystwo Szkoły Ludowej.