Dołączył do CDU oraz jej organizacji Junge Union, którą w latach 1961–1965 kierował na poziomie landu. W 1965 po raz pierwszy uzyskał mandat deputowanego do Bundestagu, który wykonywał przez dwa lata. W 1967 został powołany na ministra spraw społecznych, zdrowia i sportu w rządzie Nadrenii-Palatynatu. Od 1971 do 1979 był posłem do landtagu tego kraju związkowego. Funkcję ministerialną pełnił do 1977, kiedy to wybrany został na sekretarza generalnego CDU. Wcześniej od 1974 wchodził w skład zarządu federalnego partii. W latach 1977–1980 pełnił również funkcję wiceprzewodniczącego Międzynarodówki Centrowych Demokratów.
W 1980 został wybrany ponownie do Bundestagu. Mandat deputowanego do niższej izby niemieckiego parlamentu utrzymywał do 2002, kiedy to nie wystartował w kolejnych wyborach. W październiku 1982 został powołany na ministra młodzieży, rodziny i zdrowia w rządzie Helmuta Kohla. Utrzymał tę funkcję również w jego drugim gabinecie, pełniąc ją do września 1985. W 1989 odszedł z funkcji sekretarza generalnego chadeków, po czym do 2000 pozostawał w zarządzie federalnym CDU. W latach 1991–1998 był wiceprzewodniczącym frakcji CDU/CSU w Bundestagu. Od 1997 brał udział jako mediator w rozwiązywaniu różnych protestów społecznych, np. konfliktu związanego z planem rozwoju i rozbudowy sieci transportu w Badenii-Wirtembergii (tzw.