Po wojnie uczył się w Hamburgu, studiował ekonomię i nauki polityczne na Uniwersytecie Hamburskim. Uczelnię skończył w 1949 r. Do SPD zapisał się w 1946 r., a w latach 1947–1948 był przewodniczącym (SDS), ówczesnej organizacji studenckiej SPD.
Po studiach pracował w samorządzie Hamburga w wydziale polityki gospodarczej, a od 1952 r. w hamburskim ministerstwie gospodarki i transportu. Wybrany do Bundestagu w 1953 roku, w 1957 został członkiem prezydium frakcji parlamentarnej SPD. Był głośnym krytykiem polityki rządu konserwatywnego. W 1958 r. organizował kampanię przeciwko broni jądrowej i wyposażaniu Bundeswehry w taką broń. Utracił mandat w 1958 r. mały|lewo|Schmidt i Brandt podczas zjazdu partyjnego SPD w Hanowerze (1973) W latach 1961–1965 senator do spraw wewnętrznych w . Poprawił swoją reputację zdecydowanymi działaniami podczas tzw. powodzi tysiąclecia w Hamburgu w 1962 roku.
W 1965 r. ponownie wybrany do Bundestagu, w 1967 wybrany przewodniczącym parlamentarnej frakcji SPD i wiceprzewodniczącym partii w 1968 r. W 1969 roku w pierwszym rządzie Willy’ego Brandta pełnił funkcję federalnego ministra obrony, a od czerwca 1972 – ministra gospodarki. Od grudnia 1972 do maja 1974 był ministrem finansów w drugim rządzie Willy’ego Brandta.