W czasie wojny domowej na różnych stanowiskach partyjnych w Obwodzie Wojska Dońskiego, do 1920 członek Dońskiego Biura RKP(b), członek Rewolucyjnej Rady Wojennej Frontu Południowego Armii Czerwonej. W marcu 1921 uczestniczył w tłumieniu powstania w Kronsztadzie jako politruk południowej grupy wojsk. W latach 1921–26 w aparacie partyjnym KC (RKP(b)/WKP(b) (kierownik wydziału kadr KC (1921-23), kierownik wydziału agitacji i propagandy KC (1924-26)). Jednocześnie w latach 1924-26 redaktor pisma Коммунистическая Революция.
Na XIV zjeździe RKP(b) 31 maja 1924 wybrany na zastępcę członka KC, funkcję pełnił do 2 grudnia 1927, na XV zjeździe WKP(b) 19 grudnia 1927 wybrany na członka KC WKP(b). Od marca 1926 do maja 1929 I sekretarz Syberyjskiego Komitetu Krajowego WKP(b). Stronnik Stalina. 18 maja 1929 powołany na stanowisko przewodniczącego Rady Komisarzy Ludowych RFSRR (premiera RFSRR), zastąpił Aleksieja Rykowa, usuniętego przez frakcję Stalina w ramach walki z tzw. odchyleniem prawicowym.