W 1926 roku objął stanowisko przewodniczącego komisji propagandy i agitacji, a rok później został wybrany sekretarzem komitetu centralnego partii.
W latach 1926–1929 był liderem stalinowskiego stronnictwa w partii, sprzeciwiał się kierownictwu partii, które uważał za zbyt mało rewolucyjne i optymistyczne. W 1928 roku został wybrany członkiem Komitetu Wykonawczego Międzynarodówki Komunistycznej. W tym samym roku wziął ślub z Marią Holubovą, z którą miał wcześniej córkę – Martę.
W lutym 1929 roku został wybrany sekretarzem generalnym KSČ, pod jego przywództwem partia stała się stronnictwem radykalnie stalinowskim (określanym jako „sekciarskie”), partię opuściło wówczas około 80% członków. Od tego samego roku zasiadał również w .
W maju 1934 roku partia zgłosiła go jako kandydata w wyborach prezydenckich. W czerwcu 1934 roku czechosłowacka policja wystawiła za nim list gończy, w związku z czym przebywał w ukryciu. W sierpniu tego samego roku wyjechał do Związku Radzieckiego, gdzie pracował w organach Kominternu. Brał udział w organizacji siódmego kongresu Kominternu w 1935 roku, podczas którego został wybrany sekretarzem jego Komitetu Wykonawczego, stanowisko to piastował do 1943 roku.