Jego struktura, zatwierdzona 5 kwietnia 1941 roku, przedstawiała się następująco: 1 Wydział (ochrona, regulamin, ewidencja); 2 Wydział (gospodarczo-sanitarna obsługa więzień); Wydział Operacyjny (agentura, śledztwa); Wydział Polityczny; Dział Kadr; sekretariat.
Zarząd Więziennictwa posiadał swoje lokalne odpowiedniki w strukturach NKWD w republikach związkowych ZSRR, a także w poszczególnych obwodach.
W latach 1939–1941 nadzór nad działalnością Zarządu Więziennictwa sprawowali zastępcy ludowego komisarza spraw wewnętrznych ZSRR: komdiw Wasilij Czeryszow oraz komisarz bezpieczeństwa państwowego III rangi Siergiej Krugłow.
3 lutego 1941 roku ze struktur NKWD wyodrębniono Ludowy Komisariat Bezpieczeństwa Państwowego (NKGB). W gestii nowo powstałej instytucji znalazły się tzw. więzienia wewnętrzne oraz cele wewnętrzne w więzieniach ogólnych.
Na Kresach Wschodnich funkcjonowały przed wojną 144 zakłady karne i areszty śledcze (wliczając filie i oddziały). Najpóźniej pod koniec września 1939 roku zostały one przejęte i obsadzone przez NKWD, stając się odtąd elementem stalinowskiego systemu represji.