Po ataku Niemiec na ZSRR został szefem sztabu 22 Armii Frontu Zachodniego. Od sierpnia do października 1941 był szefem sztabu, potem dowódcą Frontu Briańskiego, w grudniu 1941 został zastępcą dowódcy Frontu Zachodniego, brał udział w kontrnatarciu Armii Czerwonej pod Moskwą, w maju 1942 został szefem sztabu Kierunku Północnokaukaskiego, następnie Frontu Północno-Kaukaskiego.
Od sierpnia do października 1942 był szefem sztabu Frontu Południowo-Wschodniego/Stalingradzkiego, następnie zastępcą dowódcy tego frontu, od lutego do lipca 1943 dowódcą 51 Armii, a od lipca 1943 do czerwca 1944 dowódcą 2 Armii Gwardii, brał udział w wyzwalaniu Donbasu, forsowaniu Dniepru i walkach na Krymie. Od czerwca do listopada 1944 dowodził 2 Frontem Białoruskim, w lipcu 1944 otrzymał stopień generała armii, uczestniczył w operacji mohylewskiej, mińskiej i białostockiej, od listopada 1944 do kwietnia 1945 dowodził 4 Armią Gwardii, z którą sforsował Dunaj i brał udział w oblężeniu Budapesztu, następnie do końca wojny pełnił obowiązki zastępcy dowódcy 4 Frontu Ukraińskiego.