Po wojnie skierował na studia do Akademii Sztabu Generalnego Sił Zbrojnych ZSRR im. K. Woroszyłowa w Moskwie, które Gribkow ukończył w 1951 ze złotym medalem. 1952–1956 szef wydziału operacyjnego sztabu Leningradzkiego Okręgu Wojskowego, a 1956–1959 szef tego sztabu. Od 1958 generał porucznik. 1959–1960 szef sztabu Kijowskiego Okręgu Wojskowego. W latach 1960–1964 zastępca dyrektora i dyrektor Dyrekcji Operacji Głównego Zarządu Operacyjnego Sztabu Generalnego Sił Zbrojnych ZSRR. Podczas kryzysu kubańskiego w 1962 był przedstawicielem ministra obrony ZSRR oraz przewodniczył grupie zadaniowej generałów i admirałów mającej wspomóc wojska kubańskie w walce z Amerykanami. Później był wielokrotnie kierowany na misje do Kuby; osobiście poznał wówczas Fidela Castro. W latach 1964–1965 zastępca szefa Głównego Zarządu Operacyjnego Sztabu Generalnego, 1965–1969 dowódca 7 Gwardyjskiej Armii w Zakaukaskim Okręgu Wojskowym w Armenii. 1969–1973 zastępca dowódcy, a 1973–1976 dowódca Leningradzkiego Okręgu Wojskowego. Od 1972 generał pułkownik, od 1976 generał armii. 1976–1988 szef sztabu Zjednoczonych Sił Zbrojnych Państw-Stron Układu Warszawskiego. 1976–1981 zastępca członka, a 1981–1990 członek KC KPZR. 1973–1989 deputowany do Rady Najwyższej ZSRR od 8 do 11 kadencji. W 1992 przeszedł na emeryturę.