W 1958 roku przyjął zaproszenie Hansa Sittnera by powrócić do Wiednia, gdzie prowadził zajęcia z gry na pianinie na Wiedeńskiej Akademii Muzycznej (obecnym Uniwersytecie Muzyki i Sztuk Dramatycznych w Wiedniu) do swego odejścia na emeryturę w 1991 roku. Począwszy od roku 1963 Graf często uczył na podobnych uczelniach w Europie (Sewilla, Bilbao, Porto), Ameryce Południowej i Japonii. Zasiadał w jury międzynarodowych konkursów pianistycznych, takich jak Międzynarodowy Mistrzowski Konkurs Pianistyczny im. Artura Rubinsteina czy Międzynarodowy Konkurs Pianistyczny im. Palomy O’Shea w Santander. Dołączył także do projektu założycielskiego Wiedeńskiego Konkursu Beethovenowskiego (Wiener Beethoven-Wettbewerb) zapoczątkowanego przez Josefa Dichlera i Richarda Hausera. Graf przerwał swą karierę wykładowcy w Wiedniu dwukrotnie (w 1971/72 i 1974/75) by przyjąć pozycję wizytującego profesora na Szkole Muzycznej Jacobsa na Uniwersytecie Indiany w Bloomington, USA. Po operacji serca w 1985 roku zmuszony był ograniczyć swe występy koncertowe. Ale w 1989 roku sfinalizował kolejne nagranie, które później zostało wydane jako CD.