Małżeństwo i rodzina 2 października 1886 ożenił się w Dreźnie z księżniczką saksońską Marią Józefą, córką króla Jerzego I Wettyna. Para doczekała się dwóch synów: Arcyksięcia Karola Franciszka (1887–1922), ostatniego monarchę Austro-Węgier; Arcyksięcia Maksymiliana Eugeniusza (1895–1952).
Z pozamałżeńskiego związku z Marie Schleinzer miał dwoje dzieci: Alfreda Józefa von Hortenau (1892–1957); Hildegardę von Hortenau (1894–?).
Genealogia Prapradziadkowiecesarz rzymsko-niemieckiLeopold II Habsburg(1747-1792) ∞ 1765 Maria Ludwika Burbon(1745-1792)król Obojga SycyliiFerdynand I Burbon(1751-1825) ∞1768 Maria Karolina HabsburgFryderyk Michał Wittelsbach (Pfalz-Birkenfeld)(1724-1767) ∞1746 Maria Franciszka Wittelsbach (Pfalz-Sulzbach)(1724-1794)Karol Ludwik Badeński(1755-1801) ∞1775 Amalia Fryderyka Hessen-Darmstadt(1754-1832)Ferdynand I Burbon(1751-1825) ∞1768 Maria Karolina Habsburg(1752-1814)Karol IV Burbon(1748-1819) ∞1765 Maria Ludwika Burbon-Parmeńska(1751-1819)Leopold II Habsburg(1747-1792) ∞1765 Maria Ludwika Burbon(1745-1792)Fryderyk Wilhelm Nassau-Weilburg(1768-1816) ∞ 1788 Luiza Izabela Kirchberg(1772-1827)PradziadkowieFranciszek II Habsburg(1768-1835) ∞1790 Maria Teresa Burbon-Sycylijska(1770-1804)król BawariiMaksymilian I Józef Wittelsbach(1756-1825) ∞ 1797 Karolina Fryderyka Badeńska(1776-1841)król Obojga