Za swoje zasługi Harrowby otrzymał w 1809 r. tytuły hrabiego Harrowby i wicehrabiego Sandon. W 1809 r. stanął na krótko na czele Rady Kontroli. Następnie był ministrem bez teki. W latach 1812–1827 był Lordem Przewodniczącym Rady. Po śmierci George’a Canninga w 1827 r. król Jerzy IV zaoferował Harrowby’emu stanowisko premiera, ale ten odmówił. Nigdy już nie sprawował żadnego stanowiska państwowego.
Pomimo swoich związków ze stronnictwem torysów, Harrowby popierał postulaty reformatorskie. Głosował za równouprawnieniem katolików, reformą wyborczą 1832 r., popierał także likwidację niewolnictwa. Zmarł w 1847 r.
Życie prywatne 30 lipca 1795 r. poślubił lady Susan Leveson-Gower (ok. 1771 – 26 maja 1838), córkę Granville’a Levesona-Gowera, 1. markiza Stafford, i lady Susanny Stewart, córki 6. hrabiego Galloway. Dudley i Susan mieli razem trzech synów i pięć córek: Louisa Elizabeth Ryder (zm. 9 stycznia 1899), żona George’a Fortescue, miała dzieci Harriet Charlotte Sophia Ryder (zm. 26 września 1899), żona lorda Charlesa Herveya, miała dzieci Mary Ryder (zm. 5 sierpnia 1900), żona admirała Edwarda Saurina, nie miała dzieci Susan Ryder (20 czerwca 1796 – 30 lipca 1827), żona Hugh Fortescue, 2. hrabiego Fortescue, miała dzieci Dudley Ryder (19 maja 1798 – 19 listopada 1882), 2.