II wojna światowa W czasie kampanii wrześniowej dowodził Grupą Armii „Południe”, m.in. w bitwie nad Bzurą. 3 października 1939 stanął na czele Naczelnego Dowództwa na Wschodzie – Oberkommando Ost (Ober-Ost), które sprawowało pełnię władzy na okupowanych polskich obszarach do 26 X 1939. W kampanii francuskiej Rundstedt był dowódcą Grupy Armii „A”, która w maju 1940 odegrała istotną rolę w przełamaniu linii alianckiej obrony. 19 lipca 1940 został awansowany do stopnia feldmarszałka. W tym okresie był zaangażowany w planowanie operacji Lew Morski, mając dowodzić wojskami lądowymi. Gdy zrezygnowano z jej realizacji, przejął dowodzenie całością wojsk okupacyjnych i zarządzał budową umocnień nadmorskich w Holandii, Belgii i Francji.
Po wybuchu wojny z ZSRR w 1941 dowodził Grupą Armii „Południe”. Początkowo jego armia wolno posuwała się do przodu, później osiągnęła większe sukcesy, zdobywając Odessę, Kijów i Charków.