W lutym 1941 roku NKWD zostało znacznie osłabione, gdyż wyodrębniono z niego jeden z najważniejszych pionów GUGB, i utworzono na jego podstawie nowe komisariat ludowy (ministerstwo), nazwany Ludowym Komisariatem Bezpieczeństwa Państwowego (NKGB). Dotychczasowy 4 Oddział GUGB i jego personel odpowiedzialny za kontrwywiad wojskowy został podzielony na trzy części. Między lutym a lipcem 1941 roku, za kontrwywiad wojskowy odpowiadały: 3 Oddział NKWD ZSRR, III Zarząd Ludowego Komisariatu Obrony ZSRR oraz III Zarząd LK Marynarki Wojennej.
Już w lipcu zlikwidowano NKGB a jego personel włączono do NKWD. 17 lipca 1941 roku został utworzony Zarząd Oddziałów Specjalnych NKWD pod dowództwem komisarza bezpieczeństwa państwowego 3 rangi Wiktora Abakumowa, który jednocześnie pełnił stanowisko Zastępcy Ludowego Komisarza Spraw Wewnętrznych ZSRR, którym był Ławrientij Beria. Naczelnikiem (УОО NKWD) był do 14 kwietnia 1943 roku, czyli do czasu utworzenia GUKR NKO SSSR (SMIERSZ).