W rządzie Wellingtona był Lordem Przewodniczącym Rady w latach 1828–1830.
Lord Bathurst popierał równouprawnienie katolików, ale był gorącym przeciwnikiem reformy wyborczej lorda Greya z 1832 r., gdyż uważał, że może ona zniszczyć podstawy angielskiego ustroju. Dążył również do polepszenia warunków bytowych niewolników w brytyjskich posiadłościach, ale odnosił się z rezerwą do postulatów zniesienia niewolnictwa. 24 lipca 1817 r. został kawalerem Orderu Podwiązki.
1 kwietnia 1789 r. poślubił Georginę Lennox (6 grudnia 1765 - 20 stycznia 1841), córkę George’a Lennoxa i lady Louisy Kerr, córki 4. markiza Lothian. Henry i Georgina mieli razem trzech synów i córkę: Emily Charlotte Bathurst (zm. 1 lutego 1877), żona Fredericka Cavendisha Ponsonby'ego, miała dzieci Henry George Bathurst (24 lutego 1790 - 25 maja 1866), 4. hrabia Bathurst William Lennox Bathurst (14 lutego 1791 - 24 lutego 1878), 5. hrabia Bathurst podpułkownik Thomas Seymour Bathurst (22 października 1793 - 10 kwietnia 1834), ożenił się z Julią Hankey, miał dzieci, jego synem był Allen Bathurst, 6. hrabia Bathurst
Hrabia zmarł w 1834 r. na Arlington Street na Hanover Square w Londynie.