Prezydent federalny 23 maja 1999 roku w drugim głosowaniu wybrano go prezydentem federalnym. Jego kontrkandydatkami były: późniejsza minister nauki Dagmar Schipanski (z ramienia CDU) oraz ciotka jego żony, bezpartyjna teolog Uta Ranke-Heinemann (z ramienia PDS). Rau został zaprzysiężony 1 lipca 1999. thumb|Spotkanie przywódców Niemiec i Rosji Johannesa Raua i Władimira Putina, 2001 Rau kontynuował rozpoczęty przez swego poprzednika Romana Herzoga cykl Przemówień Berlińskich. Inaczej niż Herzog wygłaszał wszystkie mowy co roku osobiście. Poruszał przy tym wiele społecznie ważnych spraw, takich jak napływ obcokrajowców, badania biologiczne i genetyczne oraz globalizacja. Ostatnie przemówienie wygłosił w maju 2004 roku pt. Uwierzyć w Niemcy – trochę odwagi. Wezwał w nim w nietypowy dla niego bezpośredni sposób, polityków i przedsiębiorców w Niemczech do większej uczciwości oraz świadomej odpowiedzialności.
Łącznie jako głowa państwa odbył 76 podróży zagranicznych. Odwiedzając w 2000 roku Izrael był pierwszym niemieckim politykiem, który w tym charakterze stanął przed Knesetem. Jego przemówienie tam 16 lutego było pierwszym wygłoszonym po niemiecku.