Rodzina 4 sierpnia 1795 w Londynie poślubił Henriettę Scott, córkę generała Johna Scotta i Margaret Dundas. William i Harriet mieli razem czterech synów i pięć córek: William Henry Cavendish-Bentinck (21 sierpnia 1796 – 5 marca 1824), markiz Titchfield Margaret Harriet Cavendish-Bentinck (21 kwietnia 1798 – 9 kwietnia 1882) Caroline Cavendish-Bentinck (6 lipca 1799 – 23 stycznia 1828) William John Cavendish-Scott-Bentinck (12 września 1800 – 6 grudnia 1879), 5. książę Portland William George Cavendish-Scott-Bentinck (27 lutego 1802 – 21 września 1848) Henry William Cavendish-Scott-Bentinck (9 czerwca 1804 – 31 grudnia 1870) Charlotte Cavendish-Scott-Bentinck (1805 – 30 września 1889), żona Evelyna Denisona, 1. wicehrabia Ossington, nie miała dzieci Lucy Joan Cavendish-Scott-Bentinck (27 sierpnia 1807 – 29 lipca 1899), żona Charlesa Ellisa, 6. barona Howard de Walden, miała dzieci Mary Cavendish-Scott-Bentinck (8 lipca 1809 – 20 lipca 1874), żona sir Williama Tophama, nie miała dzieci.