Przewodniczący SPD W wyborach do Bundestagu w 1987 r. był kandydatem SPD na urząd kanclerski, przegrał jednak z urzędującym kanclerzem Helmutem Kohlem. Po ustąpieniu Björna Engholma 3 maja 1993 ze stanowiska przewodniczącego SPD Rau objął komisaryczny zarząd, aż do wyboru 25 czerwca 1993 Rudolfa Scharpinga. W 1998 r. Johannes Rau ustąpił ze stanowiska premiera Nadrenii-Północnej Westfalii i krajowego przewodniczącego SPD. Jego następcą w partii został Franz Müntefering, a na premiera wybrano ówczesnego krajowego ministra gospodarki Wolfganga Clementa. W 1994 r. Rau był pierwszy raz kandydatem SPD na urząd prezydenta RFN. W trzecim głosowaniu przegrał jednak z kandydatem CDU Romanem Herzogiem. W 1996 roku odpowiadał za zwolnienie z więzienia zbrodniarki nazistowskiej Hermine Braunsteiner.