Po powrocie do Niemiec w grudniu 1918 był jednym z założycieli Komunistycznej Partii Niemiec (KPD) i został wybrany na członka jej Komitetu Centralnego. 15 stycznia 1919 aresztowano go wraz z Karlem Liebknechtem i Różą Luksemburg; zdołał zbiecWolfe, Bertram D. w: „The Russian Revolution” Luxemburg s. 18 1967.. W 1921 był posłem do Landtagu Prus z ramienia KPD. W 1925 został kierownikiem biura organizacyjnego Komitetu Centralnego KPD, a w 1926 kierownikiem Okręgu KPD Berlin-Brandenburg. W 1928 wybrano go na posła do Reichstagu. W 1932 był rektorem Międzynarodowej Szkoły Leninowskiej w Moskwie.
Po aresztowaniu w 1933 Ernsta Thälmanna uciekł z Niemiec, a w 1935 został przywódcą emigracyjnej KP Niemiec oraz sekretarzem Komitetu Wykonawczego Międzynarodówki Komunistycznej (Kominternu) (IKKI), początkowo przebywał w Paryżu, a następnie w Moskwie. Uniknął represji w okresie „wielkiej czystki”. W 1943 był współzałożycielem Komitetu Narodowego „Wolne Niemcy” (Nationalkomitee Freies Deutschland – NKFD) w ZSRR, do którego należał m.in. feldmarszałek Friedrich PaulusLeonid Reschin: General von Seydlitz in sowj. Haft 1943–1955, s. 57, ..