Od grudnia 1959 dowódca 20 Dywizji Zmechanizowanej Gwardii w Zachodniej Grupie Wojsk w Niemczech, od grudnia 1961 szef sztabu Białoruskiego Okręgu Wojskowego, a od grudnia 1965 dowódca Nadwołżańskiego Okręgu Wojskowego.
W 1967 stanął na czele 13 Zarządu Sztabu Generalnego, który w porozumieniu z GRU zajmował się dezinformacją. W kwietniu 1968 I zastępca szefa Sztabu Generalnego, przygotował interwencję wojsk radzieckich, tłumiących Praską Wiosnę w Czechosłowacji. Od marca 1974 zastępca ministra obrony ZSRR przewodniczący Państwowej Komisji Technicznej, później od 8 stycznia 1977 do 1983 szef Sztabu Generalnego Sił Zbrojnych ZSRR – I zastępca ministra obrony. 8 stycznia 1977 generał armii, 14 stycznia 1977 marszałek Związku Radzieckiego. Wraz z gen. armii Iwanem Pawłowskim, dowódcą Wojsk Lądowych, ostrzegał przed radziecką interwencją w Afganistanie w 1979, nie bojąc się narazić marsz. Dmitrijowi Ustinowowi. W 1983 wystąpił w telewizji z komunikatem dotyczącym zestrzelenia koreańskiego samolotu pasażerskiego nad Kamczatką, w wyniku czego zginęło ponad 200 osób. Po tym usunięty ze stanowiska. thumb|200px|Ogarkow pierwszy z prawej W latach 1984–1990 naczelny dowódca Wojsk Kierunku Zachodniego z siedzibą w Legnicy.