Krótko potem U-147 otrzymał rozkaz powrotu do Kilonii.

W maju 1941 roku Hardegenowi przydzielono dowództwo U-123 – dużego, oceanicznego okrętu podwodnego typu IXB, bazującego w Lorient. Pierwszy patrol bojowy rozpoczął się 16 czerwca 1941 roku, jego celem było zwalczanie alianckiej żeglugi na zachodnioafrykańskich wodach wokół Freetown.

20 czerwca doszło do zatopienia portugalskiego neutralnego motorowca „Ganda”, który został omyłkowo wzięty za jednostkę wroga. Później Dönitz – głównodowodzący floty podwodnej, nakazał usunąć wszelkie wzmianki o tym wydarzeniu z dziennika bojowego U-123Jeden z dwóch znanych przypadków takiego fałszerstwa; pierwszy związany był z zatopieniem SS „Athenia”, dokonanym 3 września 1939 roku przez U-30 pod dowództwem Fritza Juliusa Lempa.. Z powodu uszkodzeń spowodowanych przez bomby głębinowe, U-123 powrócił do Lorient 23 sierpnia, mając na koncie pięć zatopionych jednostek o łącznej pojemności 21 507 BRT.