Generał Francisco Franco pozwolił matce Ksawerego i jego siostrze Zycie przejechać przez Hiszpanię w drodze do Portugalii, ale odmówił Ksaweremu. Ksawery został zmuszony do pozostania w państwie Vichy.
Został czynnym członkiem francuskiego ruchu oporu i sam z własnych funduszy wyposażył 120-osobowy oddział w rejonie Owernii. 22 lipca 1944 Ksawery został aresztowany przez Gestapo. Przez miesiąc był więziony w Vichy, a potem przeniesiono go do Clermont-Ferrand, gdzie został sklasyfikowany jako więzień polityczny (Nacht und Nebel) – egzekucji uniknął tylko wskutek osobistej interwencji marszałka Philippe Petaina. Kiedy do miasta zbliżały się armie aliantów, przeniesiono go do Natzweiler-Struthof, potem do Dachau (gdzie próbowano zamordować go wykonując trepanację czaszki bez znieczulenia) i wreszcie do Prax w Tyrolu. 8 maja 1945 Ksawery został uwolniony przez armię amerykańską.
Po wojnie Ksawery sam mianował siebie przywódcą jednej z grup karlistów w Hiszpanii.