8 września generał pojawił się w Warszawie, choć miał możliwość powrotu do swojej Armii (przez Sochaczew) – droga na tym kierunku pozostawała otwarta do 10 września.

Jako najstarszy rangą oficer w oblężonym mieście podawał się później za dowódcę obrony Warszawy, mimo że faktycznie obowiązki te pełnił gen. Walerian Czuma. Rómmel był natomiast dowódcą Armii „Warszawa”, której częścią był garnizon stolicy. Zarzuca mu się, że – jakoby wbrew uzgodnieniom z gen. Tadeuszem Kutrzebą – nie zgodził się na uderzenie siłą jednej dywizji na pomoc wycofującej się Armii „Poznań”. W Warszawie, po wyczerpaniu się środków walki, kapitulował. Utworzył przed tym ruch oporu z gen. Michałem Tokarzewskim-Karaszewiczem na czele pod nazwą Służba Zwycięstwu Polski. Po agresji ZSRR na Polskę 17 września Rómmel bezprawnie rozkazał radiodepeszą traktowanie Armii Czerwonej jako „oddziałów sprzymierzonych”.

Po kapitulacji Warszawy przebywał w niewoli niemieckiej. Był osadzony w Oflagu VII A Murnau, gdzie był starszym obozu. Pod koniec kwietnia 1945 niemiecki komendant na wieść o zbliżaniu się wojsk amerykańskich przekazał mu władzę w obozie.