4 września 2003 Rau ogłosił, że nie będzie kandydował w następnych wyborach 23 maja 2004 na urząd prezydenta RFN, szczególnie że popierające go partie, SPD i Zieloni, nie miały w Zgromadzeniu Federalnym większości. 23 marca 2004 przerwał podróż po Afryce, przed planowaną wizytą u niemieckich żołnierzy w Dżibuti. Według raportów służb specjalnych miał zostać przeprowadzony zamach na życie wysokiego rangą przedstawiciela Europy, a więc możliwe, że chodziło o Raua. 30 kwietnia 2004 powrócił z ostatniej oficjalnej podróży zagranicznej z Polski.
29 czerwca 2004 został pożegnany przez Bundeswehrę tzw. Wielkim Capstrzykiem.
Życie prywatne Johannes Rau był od 9 sierpnia 1982 roku w związku małżeńskim z Christiną Delius (ur. 1956), wnuczką wcześniejszego prezydenta Niemiec Gustawa Heinemanna. Z tego małżeństwa pochodzi trójka dzieci Raua: Anna Christina (ur. 1983), Phillip Immanuel (ur. 1985) oraz Laura Helene (ur. 1986). Ślub cywilny odbył się w Londynie, natomiast uroczystość kościelna miała miejsce 22 sierpnia 1982 roku w Nowym Ewangelickim Kościele Wyspiarskim w Spiekeroog. Na tejże wyspie zostały również ochrzczone dzieci państwa Rau. mały|Grób Johannesa Raua Spiekeroog, wyspa na Morzu Północnym, była przez lata miejscem wakacji rodziny Rau, która posiada tam domek letniskowy.