został członkiem zarządu, a w 1965 dyrektorem tego wydawnictwa.

Ogólnoniemiecka Partia Ludowa W 1950 r. pierwszy federalny minister spraw wewnętrznych Gustav Heinemann ustąpił z zajmowanego stanowiska w proteście przeciw remilitaryzacji, a dwa lata później wystąpił również z CDU, której był współzałożycielem. Heinemann założył Ogólnoniemiecką Partię Ludową (Gesamtdeutsche Volkspartei), a Rau został jej członkiem i zarazem przewodniczącym powiatowym w Wuppertalu. Już po pięciu latach, w 1957, partia została rozwiązana, a Rau wraz z Heinemannem i innymi zostali członkami SPD.

Parlamentarzysta z SPD Od 1958 do 1962 r. był przewodniczącym Jusos w Wuppertalu. W 1958 r. został pierwszy raz wybrany do Landtagu Nadrenii Północnej-Westfalii, w którym był deputowanym aż do 1999 r. W 1962 r. został członkiem zarządu frakcji SPD, a w 1967 jej przewodniczącym. Od 1964 do 1978 r. zasiadał również w Radzie Miejskiej Wuppertalu, którego też był nadburmistrzem w latach 1969–1970.

W 1968 r. został wybrany do zarządu federalnego SPD. Od 1973 był członkiem zarządu krajowego SPD w Nadrenii Północnej-Westfalii, a w latach 1977–1998 również jej przewodniczącym. Od 1978 r. członek prezydium SPD i od 1982 zastępcą federalnego przewodniczącego.