Służba okrętu U-2 został przyjęty do służby w Kriegsmarine 25 lipca 1935 roku, jako druga jednostka swojego typu i jeden z pierwszych okrętów podwodnych III Rzeszy. Pierwszym dowódcą okrętu został mianowany Oberleutnant zur See (Oblt.) Hermann Michahelles, który sprawował tę funkcję do 30 września 1936 rokuR. Busch, H-J. Roll: German U-Boat Commanders, s. 178, 283.. U-2 został przydzielony do jednostki szkolnej US-FL w Neustadt, zaś wrzesień 1935 roku spędził w szkole zwalczania okrętów podwodnych, celem szkolenia technicznego załogiGrzegorz Bukała: Historia operacyjna, s. 34..
7 marca 1936 roku podczas zajmowania przez wojska niemieckie Zagłębia Ruhry – wraz z 12 jednostkami wchodzącymi w skład 1. Flotylli U-Bootów „Weddingen” i innymi jednostkami swojego typu – U-2 został wysłany na patrol, na wypadek ewentualnej wojny morskiej z Polską, Francją lub Związkiem RadzieckimClay Blair: Hitler’s U-Boat War, T. 1, s. 44-45.. Podobne wyjście na patrol bojowy miało miejsce podczas anschlussu Austrii, nieudanej próby zajęcia przez Niemcy Sudetów w maju oraz po układzie monachijskim we wrześniu 1938 roku.