Karliści podzielili się wtedy na trzy grupy, oprócz zwolenników Ksawerego, byli jeszcze zwolennicy Jana Burbona – syna Alfonsa XIII, i arcyksięcia Karola Piusa Habsburga (syna córki pretendenta Karola, księcia Madrytu).

Król karlistów 20 maja 1952 karliści popierający Ksawerego oficjalnie ogłosili koniec jego regencji, a początek „rządów” Ksawerego jako króla Hiszpanii. W praktyce Ksawery został kolejnym karlistowskim pretendentem do hiszpańskiego tronu pod imieniem Javier I. Ksawery pozostał aktywny politycznie – znajdował się w opozycji do generała Franco, który poparł kandydaturę Jana Burbona, syna Alfonsa XIII oraz nawet arcyksięcia Karola Piusa Habsburga. W 1956 rząd hiszpański wygnał Ksawerego z kraju.

W 1962 Ksawery pozwolił swojemu najstarszemu synowi – Karolowi Hugo spotkać się z generałem Franco (było to pierwsze z kilku ich spotkań). Ksawery i Karol Hugo wierzyli, że istnieje realna szansa, że Franco wyznaczy na następcę tronu Karola Hugo, a nie Jana Karola Burbona (wnuka Alfonsa XIII). Wielu karlistów potępiło te negocjacje z generałem.