Po odejściu Szelepina nowym Przewodniczącym Komitetu został jeszcze młodszy od swego poprzednika (wówczas 37-letni), ale nie mniej dynamiczny protegowany Szelepina Władimir Jefimowicz Siemiczastny. Zgodnie z wytycznymi Chruszczowa, Siemiczastny kontynuował oczyszczanie archiwów z materiałów, przypominających stalinowską przeszłość członków Prezydium Rady Najwyższej KPZR. Z polecenia Siemiczastnego zniszczono 9 tomów materiałów, dotyczących zlikwidowanych w latach stalinowskiego terroru członków Komitetu Centralnego, wyższych oficerów służb wywiadowczych (takich jak – Jan Berzin szef GRU, Abram Słucki i Siergiej Szpigelglas – szefowie Zarządu VII Głównego Zarządu Bezpieczeństwa Państwowego i wielu innych) oraz zamieszkałych w Moskwie komunistów z partii zagranicznych.
Władimir Siemiczastny odszedł z KGB w maju 1967, zastąpił go były ambasador ZSRR w Budapeszcie Jurij Andropow. Pod kierownictwem Jurija Andropowa (1967–1982) KGB ZSRR cieszyło się wysoką pozycją w strukturach władzy ZSRR. Przed objęciem stanowiska Przewodniczącego Komitetu Bezpieczeństwa Państwowego ZSRR Andropow był od 1954 do 1957 ambasadorem ZSRR w Budapeszcie. Pełnił stanowisko ambasadora ZSRR podczas powstania węgierskiego w 1956, gdzie odegrał ważną rolę podczas interwencji Armii Radzieckiej w tym kraju.