Minister w Nadrenii Północnej-Westfalii W 1970 r. premier Nadrenii Północnej-Westfalii Heinz Kühn powołał Raua do rządu i powierzył mu resort nauki i badań. W trakcie jego urzędowania powołano w Nadrenii Północnej-Westfalii wiele szkół wyższych (m.in. Bergische Universität Wuppertal, Uniwersytet Zaoczny w Hagen).
Swym podpisem był również odpowiedzialny za zwolnienie w 1972 r. ze stanowiska profesora Josepha Beuysa.
Premier NRW mały|Johannes Rau i Erich Honecker, Berlin, 1985 W 1978 r. został następcą Heinza Kühna na stanowisku premiera. Pod jego przewodnictwem SPD uzyskało, bądź też obroniło, bezwzględną większość mandatów w wyborach do Landtagu w 1980, 1985 oraz w 1990 r. W 1985 r. SPD uzyskało w Nadrenii Północnej-Westfalii 52,1% głosów, najlepszy wynik w historii. W 1995 r. SPD straciło większość i utworzyło koalicję z Bündnis 90/Die Grünen (Zieloni). 27 maja 1998 poprzez wybór Wolfganga Clementa na premiera skończyła się w Nadrenii-Północnej Westfalii era Raua.
Od 1 listopada 1982 aż do 31 października 1983 Rau był ponadto pierwszy raz przewodniczącym Bundesratu. Ten urząd piastował ponownie od 1 listopada 1994 do 31 października 1995.