Po objęciu stanowiska przewodniczącego KGB poinformował Nikitę Chruszczowa o istnieniu archiwum Ławrientija Berii, w którym znajdowały się materiały kompromitujące Chruszczowa i najwyższych dostojników partyjnych. Sierow odszedł z KGB w 1958, by ponownie zostać dowódcą wywiadu wojskowego GRU.
W latach 1958–1961 przewodniczącym KGB był Aleksandr Szelepin. W momencie nominacji miał niewiele ponad 40 lat. W czasie II wojny światowej dowodził oddziałem partyzanckim, w latach 1952–1958 był przewodniczącym Komsomołu. Podjął przekształcanie KGB w dobrej jakości służbę wywiadowczo-kontrwywiadowczą. Odsunął od stanowisk wielu starych stalinowców, także niebędących Rosjanami, zastępując ich bardziej inteligentnymi, ściągniętymi z Komsomołu absolwentami uczelni.