W latach 1951–1954 był sekretarzem okręgu związku zawodowego pracowników sektora publicznego, transportu i komunikacji (Gewerkschaft Öffentliche Dienste, Transport und Verkehr).
W latach 1970–1991 był przewodniczącym federalnego zarządu SPD, a w latach 1975–1979 zastępcą Willy’ego Brandta.
28 listopada 1967 został prezesem senatu, tzn. premierem rządu kraju związkowego Bremy. Sprawując tę funkcję, podpisał z prezydentem Gdańska Andrzejem Kaznowskim umowę o partnerskiej współpracy obu tych miast, pierwszą tego rodzaju umowę w stosunkach polsko-niemieckich. Dwukrotnie przewodniczył Bundesratowi – od 1 listopada 1970 do 31 października 1971 oraz od 1 listopada 1981 do 31 października 1982.
Przewodził socjalno-liberalnej koalicji SPD-FDP, która rozpadła się wskutek sporów o utworzenie uniwersytetu w Bremie. Za czasów jego rządu doszło do skutku utworzenie uniwersytetu w Bremie (1971), rozbudowa ośrodka przeładunku towarów, zapoczątkowanie terminalu kontenerowego w Bremerhaven i budowa nowych zakładów Mercedesa (1979) dla 18 tysięcy zatrudnionych. Mimo sporu o likwidację stoczni Kruppa we wrześniu 1983 Koschnick odniósł znaczny sukces w wyborach 11. kadencji.