Służba jednostki Po wodowaniu okrętu w lipcu 1935 roku, 17 sierpnia U-4 został przyjęty w skład Kriegsmarine, pod dowództwem Hannesa WeingärtneraR. Busch, H-J. Roll: German U-Boat Commanders, s. 283.. Rozpoczął wtedy działalność szkoleniową w ramach Unterseebootsschulflottille (US-FL) w NeustadtKenneth Wynn: U-Boat Operations, s. 4.Grzegorz Bukała: Historia operacyjna, s. 36.. 30 września 1937 roku dowództwo U-4 zostało powierzone kapitanleutnant (kptlt) Hansowi-Wilhelmowi von Dresky’emu, który sprawował je do 28 października 1938 rokuR. Busch, H-J. Roll: German U-Boat Commanders, s. 56.. Wtedy też dowództwo U-4 objął kptlt Harro von Klot-Heydenfeldt.
W chwili wybuchu II wojny światowej U-4 był okrętem szkolnym, jednak z początkiem konfliktu natychmiast uzyskał status operacyjny i 4 września 1939 roku wyszedł z Wilhelmshaven w rejon w Skagerraku na swój pierwszy patrol bojowy, celem zwalczania brytyjskich okrętów podwodnych. Po bezowocnym patrolu 14 września powrócił do Dolnej Saksonii.