Życie prywatne W 1727 przeszedł na katolicyzm. Napisał pierwsze obszerne opracowanie historii Pogranicza Wojskowego Beitrag zur Geschichte der Warasdiner und Karlstädter Grenzverfassung. W 1737 otrzymał order Złotego Runa. W 1738 poślubił Wiktorię, córkę Ludwika Tomasza z dynastii sabaudzkiej. Była ona bratanicą i dziedziczką Eugeniusza Sabaudzkiego, znacznie starszą od Józefa Fryderyka. W 1744 rozstali się, małżeństwo było bezdzietne, jednak Józef Fryderyk zawdzięczał mu dużą fortunę. W 1741 zastępował króla Polski Augusta III w roli ojca chrzestnego późniejszego cesarza Józefa II.
Po 1749 mieszkał w Wiedniu w pałacu później nazwanym Auersperg i na zamku Schloßhof. Utrzymywał wystawny dwór i zasłynął jako mecenas znakomitych muzyków, takich jak Christoph Willibald Gluck (który szefował jego nadwornej orkiestrze istniejącej od co najmniej 1749 do 1761) i Karl Ditters von Dittersdorf (który grał w niej na skrzypcach). W piątkowe wieczory organizował akademie muzyczne, które były słynne w Wiedniu.