Do marca 1974 był szefem sztabu Dalekowschodniego Okręgu Wojskowego. Z kolei do lutego 1979 był szefem Głównego Zarządu Operacyjnego – zastępcą szefa Sztabu Generalnego Sił Zbrojnych ZSRR. Do września 1984 był pierwszym zastępcą szefa Sztabu Generalnego, następnie do grudnia 1988 był szefem Sztabu Generalnego Sił Zbrojnych ZSRR i pierwszym zastępcą ministra Obrony ZSRR. Do sierpnia 1991 był generalnym inspektorem grupy generalnych inspektorów Ministerstwa Obrony ZSRR i doradcą Prezydenta ZSRR.
Był członkiem WKP(b) od sierpnia 1943, zastępcą członka – od 1981 i członkiem Komitetu Centralnego KPZR od 1983. Był deputowanym do Rady Najwyższej ZSRR od 1984 do 1989. Od 1989 był deputowanym na Zjazd Deputowanych Ludowych ZSRR. W 1980 został laureatem Międzynarodowej Leninowskiej Nagrody Pokoju.
W chwili wybuchu puczu Janajewa przebywał na urlopie w Soczi, jednak natychmiast przerwał urlop, przybywając do Moskwy i wstępując na służbę Państwowemu Komitetowi Stanu Wyjątkowego. Był m.in. autorem planowanego szturmu na siedzibę parlamentu rosyjskiego („Białego Domu”). Klęska puczu zwiastowała rychły koniec jego kariery politycznej.