Ksawery studiował w Paryżu, gdzie uzyskał dyplom z rolnictwa i nauk politycznych.
Podczas I wojny światowej Ksawery razem z Sykstusem zaciągnęli się do armii belgijskiej. Kilku ich starszych przyrodnich braci służyło za to w armii austriackiej. Ksawery otrzymał francuski i belgijski Croix de guerre. Został również nagrodzony Krzyżem Orderu Leopolda II. W 1917 Ksawery towarzyszył bratu w jego misji (tzw. Sprawa Sykstusa) – sekretnych rozmowach pokojowych między szwagrem braci – cesarzem Karolem I a władzami Francji. Sprawa ta jednak wyszła na jaw, a rozmowy zakończyły się fiaskiem.
Małżeństwo 12 listopada 1927 w Lignières we Francji, Ksawery poślubił Magdalenę (Madeleine) de Burbon-Busset. Magdalena pochodziła z bocznej gałęzi dynastii Burbonów, która pozbawiona została wszelkich praw do tronu Francji. Ksawery i Magdalena mieli sześcioro dzieci: Marię Franciscę (ur. 19 sierpnia 1928), żonę księcia Edwarda Lobkowicza, Carlosa Hugo, księcia Parmy (ur. 8 kwietnia 1930), męża księżniczki Ireny Holenderskiej, Marię Teresę (ur. 28 lipca 1933, zm. 26 marca 2020 na COVID-19). Cecilię (ur. 12 kwietnia 1935), Marię de las Nieves (ur. 29 kwietnia 1937), Sixtusa Henry'ego (ur. 22 lipca 1940).