Po śmierci Józefa Stalina w marcu 1953, spychany był na coraz niższe stanowiska w hierarchii wojskowej. W maju 1954 został mianowany dowódcą Leningradzkiego Okręgu Wojskowego, a następnie w 1957 dowódcą grupy wojsk stacjonujących w Niemieckiej Republice Demokratycznej. W 1959 awansowany na marszałka Związku Radzieckiego i w 1960 mianowany szefem Sztabu Generalnego Armii Radzieckiej. Stracił to stanowisko w 1963, w ramach zmiany w radzieckim kierownictwie polityczno-wojskowym po kubańskim kryzysie rakietowym.
W marcu 1963 powierzono mu ponownie komendę Akademii Sztabu Generalnego. Później brał udział w spisku przeciwko Nikicie Chruszczowowi i po jego obaleniu w październiku 1964, przywrócono mu stanowisko szefa Sztabu Generalnego Armii Radzieckiej, które zajmował do września 1971 roku.
Od 1961 członek Komitetu Centralnego KPZR, w latach 1947–1952 deputowany do Rady Najwyższej RFSRR, a w latach 1954–1972 do Rady Najwyższej ZSRR od 4. do 8. kadencji.