Latem 1972 roku Johannsen został trenerem Röchling Völklingen, z którym w sezonie 1972/1973 wygrał południowo-zachodnią grupę Regionalligi, w związku z czym awansował do baraży o awans do Bundesligi, jednak w swojej grupie zajął 3. miejsce, za SV Darmstadt 98 oraz Rot-Weiss Essen, mającym w składzie zawodników, takich jak: Dieter Bast, Diethelm Ferner, Willi Lippens, Wolfgang Rausch, i tym samym klub pozostał w Regionallidze.
Następnie w latach 1975–1976 prowadził Tennis Borussię Berlin, w której grali zawodnicy, tacy jak m.in.: Ditmar Jakobs, Christian Sackewitz, Norbert Siegmann, Norbert Stolzenburg, a TeBe pod wodzą Johannsena było oceniane następująco:
Grasshopper Zurych Następnie wyjechał do Szwajcarii, gdzie został trenerem najbardziej utytułowanego Grasshopper Zurych, z którym w sezonie 1977/1978 zdobył mistrzostwo Szwajcarii po zaciętej walce z FC Servette oraz FC Basel, a także dotarł do finału Pucharu Szwajcarii (porażka 1:0 w drugim meczu z FC Servette, pierwszy mecz 2:2) oraz Pucharu Ligi Szwajcarskiej (porażka 3:2 z FC St.