Około roku 1690 był w Wiedniu, gdzie cesarz Leopold I wyraził się pochlebnie o stworzonych przez kompozytora mszach. Od tego momentu cesarz popierał karierę muzyczną Fuxa. W 1698 roku Fux został nadwornym kompozytorem, ale dopiero w 1711 roku został oficjalnym Musikdirektor des Hofes. Fux znów pojechał do Włoch w 1700, by studiować w Rzymie. Tam poznał dzieła renesansowego mistrza Palestriny, którego podziwiał odtąd przez całe życie. Większość życia Fux jednak spędził w Wiedniu, gdzie pracował w katedrze św. Szczepana (od 1701 roku) i na dworze cesarskim.
Jego najsłynniejsza opera Costanza e Fortezza została wystawiona w roku 1723 w Pradze z okazji koronacji Karola VI na króla Czech.
Fux służył dwóm następcom Leopolda: Józefowi I i Karolowi VI. Karol VI powierzał mu wysokie stanowiska na dworze. Pod koniec życia widział, że muzyka barokowa ustępuje początkom pre-klasycyzmu. Jednak jego dzieło teoretyczne Gradus ad Parnassum (1725) było chwalone przez kompozytorów wiedeńskiego klasycyzmu. Korzystał z niego Haydn, który polecił je Beethovenowi, sam Beethoven i Mozart, który posiadał własny egzemplarz dzieła.