W czasie wojny domowej w Rosji 1918–1920 jeden z organizatorów Armii Czerwonej. Od czerwca 1918 komisarz polityczny i członek Rewolucyjnej Rady Wojskowej (RRW) 1 Armii, później 4 Armii Frontu Wschodniego. Od kwietnia 1919 członek RRW Grupy Południowej Frontu Wschodniego. współpracował z Michaiłem Frunze w walkach z Aleksandrem Kołczakiem. W sierpniu 1919 razem z Siergiejem Kirowem kierował udaną obroną Astrachania, członek RRW 11 Armii i Frontu Turkiestańskiego. W październiku 1919 wyznaczony na przewodniczącego Rady Komisarzy Ludowych i KC Rosyjskiej Komunistycznej Partii(b) Turkiestanu.
Po wojnie domowej działacz gospodarczy i związkowy. W grudniu 1920 członek Ogólnorosyjskiego Komitetu Wykonawczego (OKW, oddział ekonomiczny), od kwietnia 1921 członek prezydium Rady Gospodarczej, później szef głównego Zarządu Energii Elektrycznej GOELRO, kierował budową systemu elektrowni. W latach 1923–1926 komisarz Inspekcji Robotniczo Chłopskiej (IRCh) – zastępca przewodniczącego Rady Komisarzy Ludowych, od 1926 przewodniczący IRCh. Od 1930 przewodniczący Komisji Planowania Gospodarczego (Gospłan) ZSRR, od listopada 1934 I zastępca przewodniczącego RKL. Od 1927 członek Biura Politycznego KC WKP(b).
Był żonaty z działaczką komunistyczną Jewgieniją Kogan.