Mimo starań caratu o jego ekstradycję z Francji, Branicki otrzymał obywatelstwo francuskie w 1854. Swoje ziemie wokół Montrésor przekształcił we wzorowo zorganizowane i zarządzane gospodarstwa rolne. Gruntownie wyremontował sam zamek, dekorując wnętrze w stylu II Cesarstwa. Równocześnie bardzo się przyczynił do odnowy samego miasteczka Montrésor, gdzie odbudował kościół, ufundował szpital, zreperował szkoły dla dziewcząt i dla chłopców oraz założył nowy cmentarz. Mieszkańcy wybrali go na burmistrza w 1860. Tę funkcję pełnił przez 10 lat.
Działalność na emigracji Czynnie uczestniczył w życiu Wielkiej Emigracji. Jeszcze będąc w Rzymie w czasie wiosny ludów w 1848 roku, finansował Legion Polski. Wspierał artystów i pisarzy, m.in. Norwida. Cenił twórczość Adama Mickiewicza i popierał jego działalność publicystyczną: m.in. założył w 1849 i finansował wydawanie ukazującego się pod redakcją Mickiewicza dziennika „Trybuna Ludów”Andrzej Ryszkiewicz, „Polonica na Zamku w Montrésor”, Poznań 1975, s. 20. Line Skórka, « Un magnat polonais en Touraine – Xavier Branicki (1816-1879) », bulletin de la Société archéologique de Touraine, t. XXXIX, 1980, p. 555-569 (lire en ligne).. Ze względu na utrzymywanie „zakazanych kontaktów” z francuskimi socjalistami objęły go represje ze strony rządu carskiego.