Prezydent Republiki Federalnej Niemiec W 2004 CDU, CSU i FDP zgłosiły go jako kandydat na urząd prezydenta Niemiec, w konsekwencji w marcu tegoż zrezygnował ze stanowiska w MFW. 23 maja 2004 został wybrany na stanowisko prezydenta przez Zgromadzenie Federalne – otrzymał 604 głosy, pokonując Gesine Schwan (która dostała 589 głosów). Urząd prezydenta objął 1 lipca 2004. W maju 2008 ogłosił, że będzie startował w kolejnych wyborach. 23 maja 2009 uzyskał reelekcję z wynikiem 613 głosów, ponownie wygrywając z Gesine Schwan (która otrzymała 503 głosy).
W pierwszą po wyborach wizytę zagraniczną jako pierwszy prezydent Niemiec udał się do Warszawy. W 2006 dwukrotnie odmówił podpisania ustaw przegłosowanych w Bundestagu, co ze względu na pozycję ustrojową niemieckiego prezydenta miało uprzednio miejsce tylko kilka razy w powojennych Niemczech. Jako prezydent angażował się szczególnie w działania na rzecz Afryki.