W czasie kampanii wrześniowej dowodził brygadą w obronie środkowej Wisły, a później w pierwszej bitwie pod Tomaszowem Lubelskim.

Po kapitulacji armii uniknął niewoli i powrócił do Warszawy. Tam 5 października 1939 został zastępcą komendanta Służby Zwycięstwu Polski gen. bryg. Michała Tokarzewskiego-Karaszewicza. Z dniem 3 maja 1940 został mianowany generałem brygady. W tym samym roku został komendantem Obszaru Warszawskiego ZWZ, a następnie całego obszaru Polski pod okupacją niemiecką – 30 czerwca 1940 został komendantem głównym ZWZ i dowódcą Sił Zbrojnych w Kraju. Był wówczas inicjatorem powołania stanowiska Delegata Rządu na Kraj, co zaproponował gen. Władysławowi Sikorskiemu w 1940.

Początki formowania struktur militarnych przez gen. Roweckiego nie były łatwe, albowiem nastroje społeczne wobec kadry oficerskiej były niechętne (niektórzy ukrywali wręcz fakt, że są oficerami). Wojna obronna 1939 podważyła zaufanie społeczne wobec ich zdolności. Gen. Rowecki pisał w grudniu 1941: „Szybkość przegranej we wrześniu 1939 roku była poważnym ciosem dla samopoczucia wszystkich żołnierzy. (...) wrzesień stał się przyczyną zarzutów, że wojsko nie potrafiło oprzeć się uderzeniu niemieckiemu, że dowódcy uciekli, a żołnierze nie chcieli się bić, że wojsko po prostu załamało się, rozprzęgło i właściwie bez walki uszło z pola.