Zdecydowanie sprzeciwiał się równouprawnieniu katolików oraz reformie wyborczej. Podczas prac nad Reform Bill Riots w 1831 r. jego zamek w Nottingham stał się kwaterą wszystkich znaczniejszych przeciwników reformy. Opozycja księcia nie przeszkodziła jednak uchwaleniu Reform Bill. Wskutek zmiany w podziale okręgów wyborczych, książę utracił wpływy w sześciu z nich – m.in. w Aldborough, Yorkshire i Newark.

18 lipca 1807 r. poślubił Georgianę Elisabeth Mundy (1 czerwca 1789 – 20 września 1822), córkę Edwarda Millera Mundy'ego i Georgiany Chadwick, córki Evelyna Chadwicka. Henry i Georgiana mieli razem siedmiu synów i sześć córki: Anna Maria Pelham-Clinton (1810 – 1822) Henry Pelham Pelham-Clinton (22 maja 1811 – 18 października 1864), 5. książę Newcastle Georgiana Pelham-Clinton (1812 – 1874) Charlotte Pelham-Clinton (1812 – 1886) Charles Pelham Pelham-Clinton (3 grudnia 1813 – 15 grudnia 1894), ożenił się z Elisabeth Grand, miał dzieci, jego prawnukiem był Edward Pelham-Clinton, 10. książę Newcastle Thomas Charles Pelham-Clinton (3 grudnia 1813 – 28 lutego 1882), ożenił się z Marianne Gritton, nie miał dzieci William Pelham-Clinton (1815 – 1850) Edward Pelham-Clinton (1816 – 1842) Caroline Augusta Pelham-Clinton (1818 – 3 czerwca 1898), żona sir Cornwallisa Rickettsa, 2.