W 1940 został dowódcą 20 Dywizji Pancernej, jako jej dowódca uczestniczył w początkowym okresie walki z wojskami III Rzeszą i jej satelitów podczas ataku na Związek Radziecki. We wrześniu 1941 był dowódcą 4 Brygady Pancernej (później przemianowanej na 1 Gwardyjską Brygadę Pancerną) i jako jej dowódca brał udział w walkach w obronie Moskwy. W 1942 został mianowany dowódcą 1 Korpusu Pancernego, który wyróżnił się w walkach pod Woroneżem. We wrześniu 1942 został mianowany dowódcą 3 Korpusu Zmechanizowanego.
W styczniu 1943 został dowódcą 1 Armii Pancernej (w kwietniu 1944 przemianowanej na 1 Gwardyjską Armię Pancerną). Jako jej dowódca uczestniczył w walkach na łuku kurskim, a następnie w składzie 1 Frontu Ukraińskiego w wyzwalaniu Ukrainy i operacji lwowsko-sandomierskiej. 23 września 1944, za udział w tej operacji otrzymał po raz pierwszy Medal „Złota Gwiazda” wraz z tytułem honorowym Bohatera Związku Radzieckiego oraz Order Lenina.
Następnie jako dowódca 1 Gwardyjskiej Armii Pancernej brał udział w operacji warszawsko-poznańskiej, pomorskiej (bitwa o Białogard) i berlińskiej.