W 1976 podjął pracę w departamencie politycznym w federalnym ministerstwie gospodarki. W 1981 wstąpił do Unii Chrześcijańsko-Demokratycznej. Od tegoż roku był doradcą premiera Szlezwika-Holsztynu Gerharda Stoltenberga. W 1982 przeszedł do federalnego resortu finansów, był dyrektorem gabinetu ministra oraz dyrektorem departamentu. W latach 1990–1993 pełnił funkcję sekretarza stanu w ministerstwie finansów. Stał się w tym czasie bliskim współpracownikiem kanclerza Helmuta Kohla i jego osobistym przedstawicielem podczas spotkań grupy G7. Odpowiadał za główne kwestie polityki fiskalnej, był zaangażowany w proces zjednoczenia Niemiec, a także brał udział w licznych negocjacjach międzypaństwowych, m.in. dotyczących wycofania Armii Radzieckiej z dawnego NRD.
W latach 1993–1998 był prezesem Deutscher Sparkassen- und Giroverband, zrzeszenia niemieckich kas oszczędnościowych. Następnie do 1998 kierował Europejskim Bankiem Odbudowy i Rozwoju. W 2000 z inicjatywy kanclerza Gerharda Schrödera został wybrany na dyrektora zarządzającego Międzynarodowego Funduszu Walutowego. Na czele tej instytucji stanął w maju 2000.