Ukończył Oficerską Szkołę Kawalerii w 1926, Akademię Wojskową im. Michaiła Frunzego w 1936 i Akademię Sztabu Generalnego w 1941.
Od 1941 dowodził 34 Dywizją Kawalerii, od stycznia 1942 – 5 Korpusem Kawalerii na Froncie Południowym. Od stycznia do sierpnia 1942 dowódca 12 Armii, która broniła Donbasu i północnego Kaukazu, od września do grudnia 1942 dowodził 47 i 18 Armiami na kierunku noworosyjskim. Od stycznia do listopada 1943 dowódca 56 Armii, która wyzwoliła północny Kaukaz. Od listopada 1943 zastępca dowódcy, a od grudnia 1943 dowódca 1 Armii Gwardii biorącej udział w wypieranie wojsk Osi z Ukrainy, Czechosłowacji i Polski.
W latach 1945–1953 dowódca Kijowskiego Okręgu Wojskowego, a od 12 maja 1953 do 1957 naczelny dowódca Grupy Wojsk Radzieckich w Niemczech. Od 12 listopada 1957 I zastępca ministra obrony ZSRR i naczelny dowódca Wojsk Lądowych RKKA, od 7 kwietnia 1960 I zastępca ministra obrony do spraw ogólnych, a od lipca 1960 do 1967 I zastępca ministra obrony i jednocześnie naczelny dowódca Zjednoczonych Sił Zbrojnych Państw Stron Układu Warszawskiego. Od 12 kwietnia 1967 minister obrony ZSRR.
Od 1928 Członek WKP(b), od 1961 członek Komitetu Centralnego KPZR, od 1973 członek Biura Politycznego KC KPZR, deputowany do Rady Najwyższej ZSRR od 2. do 9.