Po zakończeniu II wojny światowej pracował początkowo jako murarz. W 1947 wstąpił do Socjaldemokratycznej Partii Niemiec. Zaangażował się również w działalność związkową w ramach Industriegewerkschaft Bau-Steine-Erden (IG BSE). Od 1949 do 1952 był sekretarzem oddziału w Limburgu, następnie pełnił funkcję redaktora gazety związkowej „Grundstein”. W 1955 powołany na wiceprzewodniczącego IG BSE, a dwa lata później został przewodniczącym związku, którym kierował do 1966. Był również członkiem zarządu Federacji Niemieckich Związków Zawodowych (DGB).
W wyborach parlamentarnych w 1957 uzyskał mandat deputowanego do Bundestagu z ramienia SPD, w niższej izbie niemieckiego parlamentu zasiadał do 1983. W latach 1958–1959 był ponadto posłem do Parlamentu Europejskiego.
W rządach Kurta Georga Kiesingera i Willy’ego Brandta od grudnia 1966 do lipca 1972 pełnił funkcję ministra transportu, dodatkowo od października 1969 kierował również resortem poczty i telekomunikacji. W czasie urzędowania wprowadził ograniczenie prędkości do 100 km/h na drogach poza terenem zabudowanym, jak i ograniczenie dopuszczalnej zawartości alkoholu we krwi do 0,8 promila dla kierowców. W lipcu 1972 przeszedł na urząd ministra obrony, który sprawował a gabinetach Willy’ego Brandta i Helmuta Schmidta do lutego 1978.