W 1945 dołączył do austriackiej służby dyplomatycznej. Był m.in. pierwszym sekretarzem w przedstawicielstwie Austrii we Francji (1948–1951) oraz dyrektorem departamentu kadr w resorcie (1951–1955). W 1955 został szefem misji dyplomatycznej Austrii przy ONZ, od 1956 do 1960 kierował placówką dyplomatyczną w Kanadzie (najpierw jako minister pełnomocny, następnie w randze ambasadora). Powrócił do MSZ, gdzie stał na czele jednego z departamentów, a następnie był dyrektorem generalnym do spraw politycznych. W latach 1964–1968 i 1970–1971 zajmował stanowisko stałego przedstawiciela Austrii przy ONZ w Nowym Jorku. Od stycznia 1968 do kwietnia 1970 sprawował urząd ministra spraw zagranicznych w rządzie Josefa Klausa.
W 1971 z rekomendacji Austriackiej Partii Ludowej kandydował w wyborach prezydenckich, otrzymał 47,2% głosów, przegrywając z Franzem Jonasem. 1 stycznia 1972 objął stanowisko sekretarza generalnego ONZ, które zajmował do 31 grudnia 1981. W 1979, ogłoszonym przez ONZ Międzynarodowym Rokiem Dziecka, nadał polskiemu Orderowi Uśmiechu rangę międzynarodową. W latach 1982–1984 wykładał na Uniwersytecie Georgetown w Waszyngtonie.