17 maja 1940 został członkiem KC i Biura Politycznego KC Komunistycznej Partii (bolszewików) Ukrainy (KP(b)U), a w lutym 1941 brał udział w IV plenum KC KP(b)U i został delegatem na XVIII konferencję partyjną WKP(b) 20 II 1941, na której wybrano go kandydatem na członka KC WKP(b).
Rozbijał polską konspirację niepodległościową (ZWZ), w tym osobiście przesłuchiwał i torturował Leopolda Okulickiego, późniejszego Komendanta Głównego AK, który został wówczas osadzony w więzieniu na Łubiance. Rozbrajał oficerów Korpusu Litewskiego i przeprowadzał masowe deportacje Litwinów, Estończyków i Łotyszy z terenu państw bałtyckich.
Po wybuchu wojny z Niemcami w 1941 dowodził wojskami NKWD na najbardziej zagrożonych odcinkach frontu: pod Moskwą, na Krymie, na Kaukazie i pod Stalingradem; jesienią na Przełęczy Kłuchorskiej został kontuzjowany w wyniku wybuchu miny. W 1943 roku kierował masowymi deportacjami Czeczenów, Inguszów i Tatarów, za co został odznaczony Orderem Czerwonego Sztandaru i Orderem Suworowa I klasy. W 1944 mianowany zastępcą kolejnych dowódców 1 Frontu Białoruskiego. 11 stycznia 1945 został Pełnomocnikiem NKWD ZSRR przy 1 Froncie Białoruskim.