Naczelnikiem był komisarz bezpieczeństwa państwowego Mark Gaj (właściwie Mark Sztakland).
Od 25 grudnia 1936 roku 5 Oddział (OO) Głównego Zarządu Bezpieczeństwa Państwowego GUGB przy Ludowym Komisariacie Spraw Wewnętrznych NKWD ZSRR. Naczelnikiem był komisarz bezpieczeństwa państwowego 2 rangi Izrail Leplewski.
Od 30 lipca 1938 roku NKWD przeszło reorganizację, w wyniku której powiększono znaczenie kontrwywiadu wojskowego nadając mu status zarządu, występował jako II Zarząd Oddziałów Specjalnych (OO) Ludowego Komisariatu Spraw Wewnętrznych NKWD a naczelnikiem był komisarz bezpieczeństwa państwowego 3 rangi Nikołaj Nikołajew-Żurid
Już 29 września 1938 NKWD przeszło kolejne reorganizacje, powrócono do dawnego układu, i II Zarząd Oddziałów Specjalnych zlikwidowano a kontrwywiad wojskowy powrócił do Głównego Zarządu Bezpieczeństwa Państwowego GUGB jako 4 Oddział (OO) GUGB NKWD. Ta organizacja powstawała aż do lutego 1941 roku. Naczelnikami ów Oddziału byli kolejno Wiktor Boczkow, i Anatolij Michiejew, który poległ na froncie w 1941 roku.