W 1990 po raz pierwszy został posłem do Rady Narodowej. W niższej izbie austriackiego parlamentu (z przerwami na czas pełnienia funkcji rządowych) zasiadał do 2011 w okresie XVIII, XIX, XX, XXI, XXII, XXIII i XXIV kadencji. W latach 1993–2004 sprawował urząd ministra rolnictwa. Od 2003 do 2007 pełnił funkcję przewodniczącego klubu poselskiego ÖVP w Radzie Narodowej. Od 1995 był wiceprzewodniczącym tego ugrupowania.
Po przegranych przez Austriacką Partię Ludową wyborach w 2006 i zawiązaniu wielkiej koalicji z Socjaldemokratyczną Partią Austrii 11 stycznia 2007 mianowany został wicekanclerzem i ministrem finansów w rządzie Alfreda Gusenbauera. Po ustąpieniu Wolfgagna Schüssela z funkcji przewodniczącego ludowców 9 stycznia 2007 został pełniącym obowiązki przewodniczącego partii. 21 kwietnia 2007 podczas partyjnej konwencji oficjalnie wybrano go na przewodniczącego Austriackiej Partii Ludowej.