Zagorzali zwolennicy Bundesligi pamiętają najczęściej jeden fakt w karierze Rolffa, nie przynoszący mu chwały. 26 marca 1983, będąc zawodnikiem HSV, podczas meczu na szczycie z Bayernem Monachium, niezamierzenie, aczkolwiek brutalnie sfaulował gracza gości, Paula Breitnera. W efekcie, Breitner doznawszy skomplikowanej kontuzji, zmuszony został do przedwczesnego zakończenia kariery.
Po zakończeniu kariery rozpoczął pracę trenerską. Najczęściej w roli asystenta, w klubach, Hamburger SV, VfB Stuttgart, Bayer 04 Leverkusen i reprezentacji Kuwejtu. Od lipca 2004 roku jest asystentem Thomasa Schaafa w pierwszoligowym Werderze Brema.
Kariera zawodowa 1980 – 1982 Fortuna Köln 1982 – 1986 Hamburger SV 1986 – 1989 Bayer 04 Leverkusen 1989 – 1990 Racing Strasbourg 1990 – 1991 Bayer Uerdingen 05 1991 – 1994 Karlsruher SC 1994 – 1995 FC Köln 1995 – 1996 Fortuna Köln Liczba meczów w Bundeslidze: 356 Liczba goli w Bundeslidze: 47 Liczba meczów w 2.Bundeslidze: 126 Liczba goli w 2.Bundeslidze: 23 Liczba meczów w Ligue 1: 30 Liczba goli w Ligue 1: 4 Liczba meczów w reprezentacji: 37
Sukcesy Wicemistrzostwo świata: 1986 Mistrzostwo Bundesligi: 1983 Wicemistrzostwo Bundesligi: 1984 Puchar Mistrzów: 1983 Puchar UEFA: 1988 Awans do pierwszej ligi: 1981