Rundstedt był przeciwny kontynuowaniu ofensywy w zimie, ale jego obiekcje nie zostały wzięte pod uwagę. W listopadzie przeszedł zawał serca, ale nie wyraził zgody na leczenie w szpitalu, chcąc dalej dowodzić uderzeniem na Rostów, do którego wojska niemieckie dotarły 21 listopada. Kontruderzenie radzieckie odrzuciło armię Rundstedta. Wbrew rozkazom Hitlera wycofał swoje wojska, co wprawiło Führera we wściekłość. Odwołał Rundstedta i zastąpił go feldmarszałkiem Waltherem von Reichenauem. Rundstedt był pierwszym tej rangi dowódcą niemieckim odwołanym w czasie wojny.
W marcu 1942 Rundstedt został wyznaczony do organizowania obrony w zachodniej Europie (obszaru operacyjnego „Zachód”). Konflikt dowódczy z Erwinem Rommlem spowodował, że bezpośrednie dowodzenie wojskami pancernymi we Francji przejął Hitler. Rommel uważał, iż siły pancerne muszą znajdować się blisko wybrzeży, by szybko zareagować na ewentualny desant;