W życiu osobistym książę nie był szczęśliwy. Jego małżeństwo nie było udane i zakończyło się rozwodem. Relacje z ojcem były oziębłe, głównie z powodu odmiennych sympatii politycznych ojca i syna. Równie oziębłe były stosunki Henry’ego z jego dziećmi. Historyk F. Darell Munsell zatytułował swoją biografię 5. księcia (wydaną w 1985 r.) Nieszczęśliwy książę (The Unfortunate Duke).
27 listopada 1832 r. w Hamilton Palace w Hamilton poślubił lady Susan Harriet Catherine Hamilton (9 czerwca 1814 – 28 listopada 1889), córkę Alexandra Hamiltona, 10. księcia Hamilton, i Susan Beckford, córki Williama Beckforda. Henry i Susan mieli razem czterech synów i córkę: Susan Charlotte Catherine Pelham-Clinton (zm. 6 września 1875), żona podpułkownika Adolphusa Fredericka Charlesa Williama Vane-Tempesta, miała dzieci Henry Pelham Alexander Pelham-Clinton (25 czerwca 1834 – 22 lutego 1879), 6. książę Newcastle Edward William Pelham-Clinton (11 sierpnia 1836 – 9 lipca 1907), ożenił się z Matildą Jane Cradock-Hartopp, nie miał dzieci porucznik Arthur Pelham-Clinton (23 czerwca 1840 – 18 czerwca 1870) Albert Sidney Pelham-Clinton (22 grudnia 1845 – 1 marca 1884), ożenił się z Frances Evelyn, nie miał dzieci