Życie prywatne 25 lipca 1795 r. poślubił lady Caroline Villiers (16 grudnia 1774 – 16 czerwca 1835), córkę George’a Villiersa, 4. hrabiego Jersey, i Frances Twysden, córki Philipa Twysdena. Małżeństwo to zakończyło się rozwodem w 1809 r. Henry i Caroline mieli razem trzech synów i pięć córek: Augusta Paget (zm. 6 czerwca 1872), żona Arthura Chichestera, 1. barona Templemore, miała dzieci Caroline Paget (6 czerwca 1796 – 12 marca 1874), żona Charlesa Gordona-Lennoxa, 5. księcia Richmond, miała dzieci Henry Paget (6 lipca 1797 – 7 lutego 1869), 2. markiz Anglesey Jane Paget (13 października 1798 – 28 stycznia 1876), żona Francisa Conynghama, 2. markiza Conyngham, miała dzieci William Paget (1 marca 1803 – 17 maja 1863), ożenił się z Frances de Rottenburg, miał dzieci Georgina Paget (ok. 1809 – 9 listopada 1875), żona Edwarda Croftona, 2. barona Crofton, miała dzieci Arthur Paget (ok. 1809–11825) Agnes Paget (ok. 1809 – 9 października 1845), żona George’a Bynga, 2. hrabiego Strafford, miała dzieci