W 1961 roku, jako asystent Jordana, Ehlers uzyskał habilitację, która otworzyła mu drogę do profesury w Niemczech. Następnie zajmował stanowiska dydaktyczne i badawcze w Niemczech oraz w Stanach Zjednoczonych: na Uniwersytecie w Kilonii, na Uniwersytecie Syracuse oraz na Uniwersytecie Hamburskim. W latach 1964–1965 pracował w Graduate Research Center of the Southwest w Dallas. W latach 1965–1971 zajmował różne stanowiska w grupie na Uniwersytecie Teksańskim w Austin, początkowo jako profesor nadzwyczajny, a od 1967 roku jako profesor zwyczajny. W tym czasie był również profesorem wizytującym na uniwersytetach w Würzburgu i Bonn.

Monachium W 1970 roku Ehlers otrzymał propozycję objęcia stanowiska dyrektora działu teorii grawitacji w w Monachium. Kandydaturę Ehlersa zgłosił Ludwig Biermann, ówczesny dyrektor instytutu. Gdy Ehlers dołączył do instytutu w 1971 roku, został zarazem profesorem honorowym na Uniwersytecie Ludwika i Maksymiliana w Monachium. W marcu 1991 roku instytut podzielił się na oraz , w którym pozostał dział Ehlersa.