Z MWD zostały wydzielone piony wcześniej należące do MGB i niektóre należące do MWD. M.in. na styczeń 1954 pion policji politycznej reprezentowany przez 4. Zarząd (tajno-polityczny) MWD, piony wywiadu zagranicznego, którym się zajmował II Zarząd Główny MWD, kontrwywiadu cywilnego, który leżał w gestii I Zarządu Głównego MWD, wojskowego III Zarząd MWD oraz inne piony, które zajmowały się bezpieczeństwem gospodarki, transportu oraz śledztwami w szczególnie ważnych sprawach, techniką operacyjną oraz wiele innych komórek, które znajdowały się w byłym Ministerstwie B.P i wówczas bardzo uszczuplonym MWD ZSRR. W wyniku tych zmian powstał oddzielny Komitet Bezpieczeństwa Państwowego – KGB.
KGB działało początkowo na prawach „ministerstwa”, podlegając bezpośrednio premierowi. Pierwszym przewodniczącym KGB został generał Iwan Sierow. Stał on na czele komitetu przez cztery lata, od 1954 do 1958. Wcześniej Sierow był zastępcą dowódcy i dowódcą GRU. Po II wojnie światowej został wysłany do Polski jako główny doradca radziecki przy Ministerstwie Bezpieczeństwa Publicznego. Osobiście, jako gen. Iwanow, przeprowadził w 1945 aresztowanie 16 przywódców Polski Podziemnej, postawionych następnie przed sądem w Moskwie.