W 1941 roku, po ataku Niemiec na ZSRR, Paweł Sudopłatow 5 lipca 1941 roku został mianowany szefem Zarządu Zadań Specjalnych przy NKWD. Zarząd, na czele którego stał, zajmował się m.in. zadaniami specjalnymi: wywiadem na terenie objętym okupacją niemiecką, organizowaniem i prowadzeniem partyzantki, organizowaniem sieci agentów, przeprowadzaniem tajnych operacji mających za cel dezinformowanie nieprzyjaciela itd.
W październiku 1941 roku Sudopłatow awansował ze starszego oficera (odpowiednik pułkownika w wojsku) do stopnia komisarza bezpieczeństwa państwowego III stopnia (odpowiednik generała porucznika), nadal kierując Zarządem zadań specjalnych, który w październiku 1941 roku został powiększony i zreorganizowany w Specjalny Zarząd II NKWD, a w lutym 1942 roku w Niezależny Zarząd IV NKWD do Zadań Specjalnych i Wojny Partyzanckiej.
Sudopłatow wraz z IV Zarządem IV NKWD odniósł wiele sukcesów, prowadząc sabotaż i partyzantkę na tyłach wroga.