Za czasów Addingtona zawarto pokój z Francją (traktat w Amiens, 1802). Wkrótce jednak wojna wybuchła na nowo i Addington został zastąpiony przez Pitta. W 1805 r. otrzymał tytuł 1. wicehrabiego Sidmouth i zasiadł w Izbie Lordów. Od stycznia do lipca 1805 r. był Lordem Przewodniczącym Rady w drugim gabinecie Pitta. W Gabinecie Wszystkich Talentów w latach 1806-1807 pełnił najpierw funkcję Lorda Tajnej Pieczęci, a następnie Lorda Przewodniczącego Rady.
Sidmouth powrócił do gabinetu w 1812 r., kiedy został Lordem Przewodniczącym Rady w rządzie Percevala. Kiedy jeszcze w tym samym roku nowym premierem został lord Liverpool, Sidmouth otrzymał tekę ministra spraw wewnętrznych. Na tym stanowisku walczył z radykalną opozycją, odpowiadał za zawieszenie Habeas Corpus Act w 1817 r., masakrę Peterloo w 1819 r. oraz represyjne Sześć Aktów z tego samego roku.
W 1822 r. został zastąpiony w Ministerstwie Spraw Wewnętrznych przez Roberta Peela. Pozostał aktywnym członkiem Izby Lordów – sprzeciwiał się uznaniu przez Wielką Brytanię republik południowoamerykańskich, równouprawnieniu katolików i reformie wyborczej. Zmarł w 1844 r.
Był dwukrotnie żonaty i miał czterech synów i cztery córki.