Rodzina 24 września 1782 r. poślubił lady Frances Finch (zm. 21 listopada 1838), córkę Heneage’a Fincha, 3. hrabiego Aylesford, i lady Charlotte Seymour, córki 6. księcia Somerset. George i Frances mieli razem pięciu synów i siedem córek: Harriett Legge (zm. 11 marca 1855), żona generała sir Edwarda Pageta, miała dzieci Barbara Maria Legge (zm. 22 kwietnia 1840), żona Francisa Parkera Newdigate’a, miała dzieci William Legge (29 listopada 1784 – 22 listopada 1853), 4. hrabia Dartmouth Louisa Legge (8 marca 1787 – 13 sierpnia 1816), żona Williama Bagota, 2. barona Bagot, miała dzieci Heneage Legge (29 lutego 1788 – 12 grudnia 1844), ożenił się z Mary Johnstone, miał dzieci Charlotte Legge (1795 – 15 czerwca 1877), żona George’a Neville’a-Grenville’a, miała dzieci Georgina Caroline Legge (ok. 1795 – 11 sierpnia 1855) Mary Legge (ok. 1796 – 8 lipca 1886) Anne Legge (ok. 1797 – 24 listopada 1885) Charles Legge (1799–1821) generał Arthur Charles Legge (25 czerwca 1800 – 18 maja 1890), ożenił się z lady Anne Holroyd i Caroline Bouwens, miał dzieci z drugiego małżeństwa Henry Legge (1803 – 13 lutego 1887), ożenił