9 kwietnia 1792 w kościele św. Jerzego na Hanover Square w Londynie poślubił Elizabeth Southwell (11 stycznia 1776 – 14 listopada 1817), córkę Edwarda Southwella, 20. barona de Clifford, i Sophii Campbell, córki Samuela Campbella. William i Elizabeth mieli razem pięciu synów i cztery córki: William Keppel (1 marca 1793 – 9 kwietnia 1804), wicehrabia Bury Augustus Frederick Keppel (2 czerwca 1794 – 15 marca 1851), 5. hrabia Albemarle Sophia Keppel (ok. 1798 – 29 września 1824), żona sir Jamesa Macdonalda, 2. baroneta; miała dzieci George Thomas Keppel (13 czerwca 1799 – 21 lutego 1891), 6. hrabia Albemarle Anne Amelia Keppel (1803 – 22 lipca 1844), żona Thomasa Coke’a, 1. hrabiego Leicester; miała dzieci Henry Keppel (14 czerwca 1809 – 17 stycznia 1904) Thomas Robert Keppel (17 stycznia 1811 – 20 kwietnia 1863), ożenił się z Frances Barrett-Lennard; miał dzieci Caroline Elizabeth Keppel (1814 – 26 maja 1898), żona Thomasa Garniera; miała dzieci Mary Keppel (1817 – 1898), żona Henry’ego Stephensona; miała dzieci.