Zanim objął stanowisko Przewodniczącego KGB Kriuczkow przez czternaście lat (1974–1988) był Naczelnikiem I Zarządu Głównego KGB prowadzącego wywiad, co tym samym automatycznie dawało mu funkcję Pierwszego Zastępcy Przewodniczącego KGB ZSRR. W sierpniu 1991 był on jednym z organizatorów nieudanego zamachu stanu (tzw. puczu Janajewa), którego celem było obalenie Michaiła Gorbaczowa.

Po stłumieniu puczu Kriuczkow został aresztowany i karnie zdymisjonowany, a jego obowiązki przejął na krótko Leonid Szebarszyn, wcześniej szef Pierwszego Zarządu Głównego Komitetu Bezpieczeństwa Państwowego, mający za sobą służbę w Afganistanie, Iranie i Indiach, od 1987 Zastępca Przewodniczącego KGB. Tarcia wewnątrz ścisłego kierownictwa KPZR doprowadziły jednak do szybkiej dymisji Szebarszyna – jeszcze w sierpniu 1991 nowym przewodniczącym instytucji został były minister spraw wewnętrznych Kraju Rad Władimir Bakatin. Bakatin, jako ostatni przewodniczący, podjął się zadania przebudowy KGB. Już wiosną 1991 proponował Gorbaczowowi, aby wyłączyć spod kurateli KGB specjalny oddział Alfa. Chciał, aby stał się on częścią ochrony Kremla;