Życie prywatne Lord Aberdare był dwukrotnie żonaty. Po raz pierwszy ożenił się 6 stycznia 1846 r. z Annabellą Beadon (zm. 28 lipca 1852), córkę Richarda Beadona i Annabelli A’Court, córki pułkownika Williama Ashe-A’Courta, 1. baroneta. Henry i Annabella mieli razem syna i trzy córki: Margaret Cecilia Bruce (ok. 1847 – 10 kwietnia 1878), żona Douglasa Richmonda, nie miała dzieci Rachel Mary Bruce (1848 – 24 czerwca 1927), żona Augustusa Vernon-Harcourta, miała dzieci Jessie Frances Bruce (1850 – 22 czerwca 1940), żona Johna Wynne-Jonesa, nie miała dzieci Henry Campbell Bruce (19 czerwca 1851 – 20 lutego 1929), 2. baron Aberdare
Po raz drugi ożenił się 17 sierpnia 1854 z Norą Creiną Blanche Napier (ok. 1827 – 27 kwietnia 1897), córką generała-porucznika Williama Francisa Patricka Napiera i Caroline Fox, córki generała Henry’ego Foxa. Henry i Norah mieli razem dwóch synów i siedem córek: Caroline Louisa Bruce (1855 – 3 lutego 1915) Sarah Napier Bruce (1856 – 21 grudnia 1931), żona Montague Muir-Mackenziego, miała dzieci William Napier Bruce (15 stycznia 1858 – 20 marca 1936), kawaler Krzyża Towarzyskiego Orderu Łaźni, drugi sekretarz Rady Edukacji, prokanclerz Uniwersytetu Walijskiego, ożenił się z Emily MacMurdo, miał dzieci Norah Creina Blanche Bruce (ok.