Projekt i budowa U-4 został zbudowany w ramach projektu K.u.K. Kriegsmarine, przeprowadzenia badań porównawczych konstrukcji zagranicznych okrętów podwodnych. W konkursie wzięły udział projekty Simona Lake'a, Germaniawerft i Johna Hollanda. Dowództwo marynarki austro-węgierskiej zamówiło budowę U-4 (oraz jego bliźniaczego okrętu U-3) w stoczni Germaniawerft w Kilonii w 1906 roku. Stępka pod okręt została położona 12 marca 1907 w doku nr 136Baumgartner & Sieche The Austro-Hungarian Submarine Force (tłumaczenie na język angielski z książki Die Schiffe der k.(u.)k. Kriegsmarine im Bild Erwin Sieche) [dostęp 16 marca 2017], a wodowanie odbyło się 20 listopada 1908 roku. Po ukończeniu został przeholowany przez Gibraltar do Puli, gdzie dotarł 19 kwietnia 1909 roku.
Konstrukcja U-4 był ulepszoną wersją projektu Germaniawerft pierwszego U-Boota Kaiserliche Marine, SM U-1, i posiadał podwójny kadłub sztywny z wewnętrznymi zbiornikami balastowymi. Dzięki szczegółowym testom z użyciem modelów okrętu, niemieckim inżynierom udało się ulepszyć konstrukcję kadłuba.