Był kursantem w szkole Kominternu – Międzynarodowej Szkole Leninowskiej (Международная ленинская школа) w Moskwie (1928-1929), kierownikiem politycznym KPD w Magdeburgu (1929-1931), a następnie Prus Wschodnich (1931-1933), również deputowanym do pruskiego Landtagu (1932-1933).

W lutym 1933 wziął udział w nielegalnej konferencji zwołanej przez Komitet Centralny KPD w Hali Sportowej Ziegenhals pod Berlinem. Od kwietnia 1933 kierował nielegalną strukturą okręgową KPD Pomorza. 14 lipca 1933 został aresztowany i osadzony w więzieniu Szczecin-Dąbie, skąd udało mu się 19 września 1934 uciec, wraz z trzema współwięźniami, początkowo do Czechosłowacji, a następnie przez Szwajcarię do Francji, gdzie w kręgu Lutetia pracował nad próbą stworzenia Frontu Ludowego przeciwko reżimowi nazistowskiemu (1935-1936), później przebywał w Belgii, Holandii, Norwegii (1938-1940) i nielegalnie w Szwecji (1940–1941). 4 lipca 1940 został pozbawiony obywatelstwa niemieckiego (lista nr 186). W 1941 wraz z Jenny Pickerodt, swoją przyszłą żoną, udał się do Moskwy.