Od lipca 1934 do lutego 1941, w skład Ludowego Komisariatu Spraw Wewnętrznych wchodziło siedem potężnie rozbudowanych zarządów. Były nimi: ГУГБ (GUGB) – Główny Zarząd Bezpieczeństwa Państwowego ГУРКМ (GURKM) – Główny Zarząd Milicji Robotniczo-Chłopskiej ГУПВО (GUPWO) – Główny Zarząd Ochrony Pogranicznej i Wewnętrznej ГУПО (GUPO) – Główny Zarząd Ochrony Przeciwpożarowej ГУЛаг (GUŁag) – Zarząd Główny Wychowawczych Obozów Pracy i Osiedli Pracy АХУ (ACHU) – Zarząd Administracyjno-Gospodarczy ОАГС (OAGS) – Wydział Aktów Stanu Cywilnego Do 1939 r. struktura Ludowego Komisariatu Spraw Wewnętrznych uległa zmianie trzykrotnie, m.in. w listopadzie 1936, po objęciu kierownictwa NKWD przez Nikołaja Jeżowa, 9 czerwca 1938, rozkazem ludowego komisarza spraw wewnętrznych numer 00362 wprowadzono nową organizację wydziałów operacyjno-czekistowskich NKWD i 29 września 1938, zmieniono struktury NKWD ZSRR, zwiększając liczbę zarządów.
Struktura Ludowego Komisariatu Spraw Wewnętrznych na wrzesień 1938 przedstawiała się następująco: