Pod koniec 1941 utworzył organizację „Wachlarz”. Doprowadził do połączenia najważniejszych organizacji konspiracyjnych w kraju w jednolite wojsko podziemne, od 1942 występujące jako Armia Krajowa. 14 lutego 1942 został komendantem głównym Armii Krajowej, następnie dokonał jej restrukturyzacji, usprawniając system dowodzenia. Był przeciwny współpracy z komunistami polskimi z PPR, m.in. nie zgadzając się na mediacje z jej nieoficjalnym przedstawicielem Michałem Żymierskim (wówczas agentem NKWD), mające miejsce w roku 1940. Od 1942, gdy uzyskał zgodę na prowadzenie ograniczonej walki zbrojnej, nadzorował przygotowanie planu powstania powszechnego, jakie Polskie Państwo Podziemne zamierzało wywołać pod koniec wojny. W jego koncepcji z marca 1942 powstanie miałoby zostać wsparte przez przerzucenie na teren Polski znaczących sił alianckich (2–3 dywizje w tym desant pancerny, który miał uderzać na Berlin). Jednocześnie Rowecki stwierdzał, że „można już dziś ocenić siły rosyjskie za niezdolne z powodu poniesionych strat do wykonania potężnej akcji ofensywnej na Europę Środkową”Andrzej Leon Sowa „Kto wydał wyrok na miasto. Plany operacyjne ZWZ-AK (1940–1944) i sposoby ich realizacji”. Wydawnictwo Literackie 2016, , s.