Od czerwca 1969 do kwietnia 1970 sprawował urząd ministra edukacji. W 1970 po raz pierwszy uzyskał mandat posła do Rady Narodowej. Do niższej izby austriackiego parlamentu był następnie wybierany w 1971, 1975, 1979, 1983, 1986, 1990, 1994 i 1995. W latach 1970–1971 pełnił funkcję burmistrza swojej rodzinnej miejscowości. Od 1971 do 1978 przewodniczył ÖAAB, organizacji pracowniczej afiliowanej przy ÖVP. Następnie do 1987 przewodniczył klubowi poselskiemu swojego ugrupowania. W 1979 został przewodniczącym Europejskiej Unii Demokratycznej, a w latach 1983–1987 stał na czele Międzynarodowej Unii Demokratycznej.
W 1979 zastąpił Josefa Tausa na stanowisku przewodniczącego Austriackiej Partii Ludowej. Ugrupowaniem tym kierował do 1989. W styczniu 1987 dołączył do rządu, w którym kanclerzem był Franz Vranitzky. Objął urząd wicekanclerza, który sprawował do kwietnia 1989. Został wówczas również ministrem spraw zagranicznych, na czele tego resortu stał do maja 1995. W czerwcu 1989 wraz z komunistycznym węgierskim ministrem spraw zagranicznych Gyulą Hornem wziął udział w przecinaniu płotu na granicy austriacko-węgierskiej, będącego jednym z symboli żelaznej kurtyny. Otwarcie tej granicy umożliwiło następnie Niemcom z NRD wyjazd do Niemiec Zachodnich poprzez Węgry i Austrię.