W międzyczasie był Lordem of the Bedchamber królów Jerzego II i Jerzego III w latach 1751–1766. W 1756 r. został kawalerem Orderu Podwiązki, zaś w 1757 r. Lordem Namiestnikiem Warwickshire i Coventry. Od 1763 r. był członkiem Tajnej Rady. Po powrocie z Francji jesienią 1765 r. został wicekrólem Irlandii. Zyskał tam sympatię jako uczciwy i religijny człowiek. W 1766 r. został koniuszym królewskim, a w latach 1766–1782 i 1783 r. był Lordem Szambelanem.

Miał też wrogów o czym świadczy anonimowy paszkwil z 1777 r., którego autor opisuje Hertforda jako najgorszego człowieka w posiadłościach Jego Królewskiej Mości. Wysuwał też przeciw niemu zarzuty skąpstwa, chciwości i samolubstwa. Te oskarżenia nie miały jednak większego oparcia w rzeczywistości.

W 1782 r. lorda Hertforda spotkała tragedia rodzinna. Jego ukochana żona, lady Isabella z domu FitzRoy, przeziębiła się opiekując się ich wnukiem na Forde's Farm, i zmarła mając 56 lat. Walpole, przyjaciel rodziny, który odwiedzał ich często na Forde's Farm, napisał, że lord Hertford poniósł stratę ponad wszelką miarę. Była ona nie tylko kochającą i oddaną żoną, ale też żoną pomocną, i bodajże jedyną osobą jaką znałem, która nigdy nie chodziła zaniedbana, ani też nie zapomniała zrobić niczego, co zrobić miała.