Zmarł w 1890 r. i został pochowany w zamku Highclare w hrabstwie Berkshire.
Rodzina 6 września 1861 r. w Opactwie Westminsterskim poślubił lady Evelyn Stanhope (3 listopada 1834–25 stycznia 1875), córkę George’a Stanhope'a, 6. hrabiego Chesterfield, i Anne Weld-Forester, córki 1. barona Forester of Willey Park. Henry i Evelyn mieli razem syna i trzy córki: Winifred Anne Henrietta Christiana Herbert (2 lipca 1864–28 września 1933), żona kapitana Alfreda Bynga i Herberta Gardnera, 1. barona Burghclere of Walden, miała dzieci z drugiego małżeństwa George Edward Stanhope Molyneux Herbert (26 czerwca 1866–5 kwietnia 1923), 5. hrabia Carnarvon Margaret Leonora Evelyn Selina Herbert (18 września 1870–13 września 1958), żona sir George’a Duckwortha, nie miała dzieci Victoria Alexandrina Mary Cecil Herbert (31 grudnia 1874–15 listopada 1957), komandor Orderu Imperium Brytyjskiego
26 grudnia 1878 r. poślubił Elizabeth Catherine Howard (29 marca 1856–1 lutego 1929), córkę Henry’ego Howarda i Charlotte Long, córki Henry’ego Long.