15 listopada 1938 otrzymał awans na stopień kontradmirała. Od grudnia 1938 do listopada 1939 był szefem sztabu 5. Floty. 11 stycznia 1940 powierzono mu dowództwo 2. Dywizjonu Lotniskowców („Hiryū” i „Sōryū”). Poprowadził go do ataku na Pearl Harbor (7 grudnia 1941), nalotu na Wake (22 grudnia 1941), operacji na południowym Pacyfiku (styczeń 1942), ataku na Darwin (19 lutego 1942), rajdu na Ocean Indyjski (marzec–kwiecień 1942) oraz pod Midway (czerwiec 1942).
Okoliczności śmierci thumb|Ostatnie chwile admirała Yamaguchi– japoński obraz z okresu II wojny światowej 4 czerwca 1942 podczas bitwy pod Midway samoloty jego flagowego lotniskowca „Hiryū” wyeliminowały z akcji amerykański lotniskowiec USS „Yorktown”. Sam „Hiryū” został jednak również zbombardowany i ciężko uszkodzony, jako ostatni z japońskich lotniskowców. 5 czerwca rano kadm. Yamaguchi zdecydował się pozostać na pokładzie tonącego okrętu flagowego. Został pośmiertnie awansowany na stopień wiceadmirała.