Jego pradziadkiem był Leopold II, cesarz rzymsko-niemiecki, król Węgier i Czech.
Matka, księżniczka Klotylda Maria z Saksonii-Coburga-Saalfeld (1846–1927), pochodząca z węgierskiej gałęzi książęcego Sachsen-Coburg-Gotha (Koburgowie), była wnuczką króla Francuzów Ludwika Filipa I.
Z małżeństwa jego rodziców urodziło się siedmioro dzieci, a czwarte – Józef August, było najstarszym potomkiem płci męskiej: Elżbieta (ur. 18 marca 1865 w Linzu, zm. 7 stycznia 1866), zmarła w niemowlęctwie, Maria Dorota Amelia (ur. 14 czerwca 1867 w Alcsút, zm. 6 kwietnia 1932 tamże), która 5 listopada 1896 wyszła za Filipa, księcia Orleanu, Małgorzata Klementyna Maria (ur. 6 lipca 1870 w Alcsút, zm. 2 maja 1955 w Ratyzbonie), która 15 lipca 1890 wyszła za Alberta, księcia Thurn und Taxis, syna Heleny Bawarskiej, siostry cesarzowej Elżbiety, Józef August (1872–1962), Władysław Filip Maria Wincenty (ur. 16 lipca 1875 w Alcsút, zm. 6 września 1896 w Budapeszcie) – podporucznik 1. pułku landwehry, zmarł w wyniku wypadku przy polowaniu, Elżbieta Henrietta Klotylda Maria Wiktoria (ur. 9 marca 1883 w Alcsút, zm. 1958 w Ratyzbonie) Klotylda Maria Rainiera Amelia Filomena (ur. 9 maja 1884 w Rijece, zm.