W latach 1978–1984 był selekcjonerem reprezentacji RFN U-21 i jednocześnie asystentem Juppa Derwalla w dorosłej kadrze. W tym czasie drużyna narodowa zdobyła mistrzostwo Europy (1980) i wicemistrzostwo świata (1982). Po nieudanych Mistrzostwach Europy 1984 Derwall podał się do dymisji, a trenerem kadry miał zostać, zgodnie z niemiecką tradycją, w której reprezentację przejmował asystent odchodzącego selekcjonera, Ribbeck. Jednak szefowie krajowej federacji postanowili, że sukcesorem Derwalla będzie Franz Beckenbauer.
Ribbeck znalazł więc zatrudnienie w Borussii Dortmund, ale czternaste miejsce w tabeli nie usatysfakcjonowało jego przełożonych i po sezonie 1984/1985 podziękowano mu za współpracę. Potem przez trzy lata prowadził Bayer 04 Leverkusen. Słabszą postawę w lidze nadrobił pierwszym w historii klubu zwycięstwem w europejskich pucharach. W maju 1988 w dwumeczu (0:3, 3:0, k. 3:2) drużyna z Rüdigerem Vollbornem, Koreańczykiem Cha Bum-keunem i Polakiem Andrzej Buncolem w składzie pokonała prowadzony przez Javiera Clemente Espanyol Barcelona w finale Pucharu UEFA.