Od 23 listopada 1962 do 21 czerwca 1967 był sekretarzem KC KPZR. W maju 1967 został przewodniczącym KGB. 21 czerwca 1967 był zastępcą członka, a od 27 kwietnia 1973 do śmierci członkiem Politbiura, z zachowaniem stanowiska szefa KGB. 17 grudnia 1973 mianowany generałem pułkownikiem, a 10 września 1976 generałem armii.

W maju 1981 Leonid Breżniew i Andropow oświadczyli wspólnie na spotkaniu z funkcjonariuszami KGB, że Stany Zjednoczone w tajemnicy przygotowują atak na ZSRR, i w związku z tym postawili własne siły nuklearne w stan pełnej gotowości (operacja RJaN).

Przywódca ZSRR Po śmierci Leonida Breżniewa wśród jego następców wymieniano Konstantina Czernienkę, Grigorija Romanowa, Wiktora Griszyna lub Wołodymyra Szczerbyckiego. Kilka miesięcy przed śmiercią Breżniewa, w maju 1982 Andropow włączył się do gry, rezygnując z funkcji szefa KGB i obejmując po śmierci Susłowa funkcję sekretarza KC KPZR. 12 listopada 1982 roku został wybrany na Sekretarza Generalnego KC KPZR, przez co stał się pierwszym i jedynym szefem organów bezpieczeństwa, który stanął na czele KPZR.