ponownie odmienił swoje sympatie polityczne i powrócił do partii wigów, której pozostał wierny aż do śmierci.
Southampton był również wiceszambelanem królowej Charlotty w latach 1768–1780, zaś w latach 1780–1797 wiceszambelanem księcia Walii.
27 lipca 1758 r. poślubił Anne Warren (1742 – 13 lipca 1807), córkę admirała Petera Warrena. Charles i Anne mieli razem siedmiu synów i cztery córki: Louisa FitzRoy, żona Jamesa Allena, nie miała dzieci George Ferdinand FitzRoy (7 sierpnia 1761 – 24 czerwca 1810), 2. baron Southampton generał Charles FitzRoy (5 września 1762 – 18 października 1831), kochanek księżniczki Amelii (córki Jerzego III), miał z nią nieślubnego syna, Hugh Huntly’ego William FitzRoy (21 lipca 1764 – 28 sierpnia 1786) Henry FitzRoy (13 września 1765 – 19 marca 1794), ożenił się z lady Anne Wellesley i miał z nią córkę, Georgianę Fredericę FitzRoy, żonę 7. księcia Beaufort Charlotte FitzRoy (3 lipca 1767 – 22 listopada 1828), żona Arthura Hilla-Trevora, 2. wicehrabiego Dungannon, miała dzieci Warren FitzRoy (1 września 1768 – 24 maja 1806), ożenił się z Marią Theresą Josephą d’Isaac, nie miał dzieci Frederick FitzRoy (ur. 10 października 1769) Emily FitzRoy (26 grudnia 1770 – 8 czerwca 1800), żona Williama Bagota, 2.