Awansowany w lipcu 1939 roku do stopnia komandora podporucznika (Korvettenkapitän), służył przez krótki czas w sztabie admirała Karla Dönitza, następnie dowodził 7. Flotyllą U-Bootów w Kilonii. 21 maja 1940 roku powrócił na morze, obejmując okręt podwodny U-48. Podczas dwóch patroli bojowych zgłosił zatopienie 12 statków o łącznej pojemności 60 000 BRT, co przyniosło mu odznaczenie Krzyżem Żelaznym I Klasy i Krzyżem Rycerskim. W grudniu 1940 roku został oficerem łącznikowym przy bazie włoskich okrętów podwodnych w Bordeaux (BETASOM). Na krótko objął dowodzenie 3. Flotyllą U-Bootów, po czym w sierpniu 1941 roku powrócił do sztabu admirała Dönitza. W lipcu 1942 roku został mianowany Führer der U-Boote West, naczelnym dowódcą wszystkich okrętów podwodnych biorących udział w bitwie o Atlantyk, z kwaterami głównymi w Paryżu i Angers. W lutym 1943 roku był promowany do stopnia komandora porucznika (Fregattenkapitän), w marcu komandora (Kapitän zur See). Swoją funkcję sprawował do jesieni 1944 roku, kiedy zwycięska ofensywa aliantów zmusiła Niemców do ewakuacji ocalałych U-Bootów do baz w Norwegii (gdzie przeniósł się ze swym sztabem także Rösing), Danii i Rzeszy.