W 1938 został mianowany zastępcą dowódcy Białoruskiego Okręgu Wojskowego, do spraw kawalerii.
W 1939 kierował jako komkor radziecką obroną na Dalekim Wschodzie – zwycięstwo radzieckie w bitwie nad rzeką Chałchin Goł w Mongolii zdecydowało o skierowaniu japońskiej ekspansji w innym kierunku. Dowodząc wojskami Armii Czerwonej przyczynił się do okrążenia i rozbicia wojsk japońskich. Doceniając jego wkład, w czerwcu 1940 roku Rada Komisarzy Ludowych ZSRR w trybie nadzwyczajnym mianowała go generałem armii. Podczas 104 dni dowodzenia na Dalekim Wschodzie wydał ponad 600 wyroków śmierci.
II wojna światowa W 1940 roku nadzorował przyłączenie do Związku Radzieckiego Besarabii i części Bukowiny. Zajęcie tych obszarów należących do Rumunii, a wcześniej do Rosji, miało miejsce 28 czerwca 1940 roku. Rumunia wyraziła na to zgodę pod silnym naciskiem dyplomatycznym, jednak była to decyzja podjęta za radą i zgodą reżimu III Rzeszy.
Po agresji III Rzeszy na ZSRR w 1941 roku został szefem Sztabu Generalnego. 29 lipca 1941 roku objął dowództwo Frontu Rezerwowego. Na początku września 1941 roku prowadził ciężkie walki o przyczółek niemiecki w okolicach Jelni (operacja jelnińska). Obydwie strony poniosły ciężkie straty, a wojska niemieckie zostały zmuszone do wycofania się.