Głoszone opinie nie zaszkodziły mu w karierze i 23 października 1939 mianowano go szefem sztabu Floty Obszaru Chin oraz 3. Floty. 15 listopada 1939 uzyskał awans do stopnia wiceadmirała, a rok później, 1 października 1940 został dyrektorem Departamentu Lotnictwa Marynarki. Bezskutecznie apelował o przyznanie większych środków na budowę lotniskowców i rozwój lotnictwa pokładowego niż przeznaczano na budowę pancerników. Problemów przysporzyła mu wygłoszona w lipcu 1941 opinia, że japońskie siły morskie są zbyt słabe, żeby ważyć się na konfrontację z US Navy.
11 sierpnia 1941 został przeniesiony na stanowisko dowódcy 4. Floty bazującej na atolu Chuuk. Siły Inoue, złożone z lekkich krążowników i niszczycieli, uczestniczyły w zajęciu wysp: Guam, Wake, Archipelagu Bismarcka, części Wysp Salomona wraz z Nową Brytanią oraz przyczółków na Nowej Gwinei.
Koniec jego dobrej passy nastąpił w maju 1942, wskutek niepowodzenia „Operacji MO” – próby zajęcia bazy alianckiej w Port Moresby. Po nierozstrzygniętej bitwie na Morzu Koralowym pełnił dowództwo 4. Floty jeszcze do 26 października 1942, kiedy został odwołany do Tokio, aby objąć stanowisko komendanta Akademii Marynarki.