W skład KGB wchodziło dziewięć zarządów głównych, z których największą rolę odgrywały: I (wywiad), II (kontrwywiad), III (kontrwywiad wojskowy), V (walka ideologiczna i zwalczanie dysydentów), VI (wywiad i kontrwywiad gospodarczy), VII (inwigilacja) i IX (ochrona dostojników państwowych). Oprócz tego poza strukturami zarządów głównych istniały specjalne oddziały zabójców działających na całym świecie (tzw. mokryje dieła).
Utworzenie KGB i zarząd Po śmierci Stalina w marcu 1953 pierwszą decyzją najwyższych władz ZSRR było zlikwidowanie ogromnego Ministerstwa Bezpieczeństwa Państwowego ZSRR (MGB ZSRR) i włączenie jego struktur do MWD ZSRR oraz mianowanie ministrem spraw wewnętrznych marszałka ZSRR, Ławrientija Berii. Dokonując tych zmian Beria stanął na czele potężnego aparatu represji w stylu NKWD z końcowych lat trzydziestych. Wkrótce Beria oraz jego ludzie, czyli tak zwana „mafia gruzińska”, m.in. Ławrientij Canawa, Siergiej Goglidze, Władimir Diekanozow, Amajak Kobułow i jego brat Bogdan Kobułow, Wsiewołod Mierkułow, Pawieł Mieszyk, Lew Włodzimirski i inni zostali aresztowani i postawieni przed sądem, gdzie większość dostała najwyższy wymiar kary.