II wojna światowa Początkowy okres wojny mały|Komdiw Rokossowski w 1940 roku W marcu 1940 został amnestionowany, wysłany do sanatorium na Krymie i przywrócony do służby wojskowej. 4 czerwca z rąk ludowego komisarza obrony Siemiona Timoszenki otrzymał nominację na stopień generała majora i został wyznaczony na dowódcę 9 Korpusu Zmechanizowanego. Z korpusem został dyslokowany w rejon Liali, gdzie uczestniczył w misji wojskowej mającej na celu zagrabienie Besarabii w porozumieniu z Niemcami w ramach Układu o Przyjaźni z dnia 28 września 1939, wyzwolonej spod Republiki Rosyjskiej w 1918 i włączonej do Królestwa Rumunii.
Po ataku Niemiec na Związek Radziecki dowodził 9 Korpusem Zmechanizowanym z odwodu Frontu Południowo-Zachodniego. 26 czerwca 1941 9 Korpus razem z 8, 15, 19 korpusami zmechanizowanymi uczestniczył w przeciwnatarciu skierowanym na siły niemieckie zajmujące Dubno (bitwa w rejonie Dubno – Łuck – Brody). Wskutek braku koordynacji działań przez dowództwo Frontu, każdy z korpusów zmechanizowanych nacierał osobno. W wyniku tego 9 Korpus Zmechanizowany prawie uległ zagładzie. Mimo niekompletnego stanu czołgów i transportu, działania 9 Zmechanizowanego Korpusu w czerwcu i lipcu 1941 oceniane są przez historyków jako najbardziej pozytywne spośród działań wszystkich korpusów zmechanizowanych Frontu Południowo-Zachodniego. Za skuteczne dowodzenie został przedstawiony do czwartego Orderu Czerwonego Sztandaru.