Rodzina W roku 1886 we Lwowie wziął ślub z Wilhelminą de la Beau (1860–1905), z którą miał czterech synów – Konrada, Erwina, Herberta i Egona. Conrad von Hötzendorf, który w 1905 został wdowcem, w dwa lata później poznał w Trieście 28-letnią Virginię (Ginę) von Reininghaus, córkę miejscowego malarza Tito Agujari, wydaną w wieku 17 lat za przemysłowca i browarnika z Grazu, Hansa von Reininghausa. Romans z nią był skandalem w ultrakatolickiej monarchii i spowodował dymisję Hötzendorfa. Jego szczególną przeciwniczką była religijna małżonka późniejszego następcy tronu (wywierająca na niego duży wpływ), księżna Zyta Burbon-Parmeńska. Choć w rozwiązanie sprawy zaangażował się osobiście Franciszek Józef I, Hötzendorf jako ateista odrzucił możliwość przejścia jego przyjaciółki na kalwinizm, co było często praktykowane w takich sytuacjach, aby otrzymać rozwód. W końcu Virginię adoptował generał Ernst Karasz von Szigetvár (węg. Ernő Kárász), dzięki czemu stała się ona obywatelką węgierską, co umożliwiło jej rozwód. Jednak cesarzowa utrzymywała dalej, że nie zna baronowej Conrad, lecz panią von Reininghaus. Conrad sportretował byłą cesarzową w artykule Meine Stellung zur früheren Kaiserin Zita (Moje stanowisko w sprawie byłej cesarzowej Zyty).