Kiedy w obliczu kryzysu ekonomicznego kanclerz skarbu Philip Snowden zaproponował cięcia w wydatkach publicznych, Addison głosował przeciw. Sprzeciwiał się również koalicji Partii Pracy z konserwatystami i liberałami, a po zawarciu tej koalicji przeszedł do opozycji. W 1931 r. ponownie przegrał wybory i znalazł się poza parlamentem. W 1934 r. wygrał wybory uzupełniające w okręgu Swindon, ale ponownie utracił mandat w 1935 r. Podczas wojny domowej w Hiszpanii pomagał w organizacji pomocy medycznej dla tego kraju.
W 1937 r. Addison zasiadł w Izbie Lordów z tytułem 1. barona Addison of Stallingborough. W tym samym roku ponownie się ożenił. Podczas II wojny światowej był przewodniczącym Buckinghamshire War Agricultural Committee, który koordynował produkcję i zaopatrzenie w żywność w tym hrabstwie. W 1940 r. został liderem Partii Pracy w Izbie Lordów. W 1945 r. otrzymał tytuł 1. wicehrabiego Addison. W tym samym roku Partia Pracy wygrała wybory i Addison został przewodniczącym Izby Lordów i ministrem ds. dominiów. W 1946 r. jako pierwszy laburzystowski polityk otrzymał Order Podwiązki. W 1947 r. został pierwszym ministrem ds. Wspólnoty Narodów, a następnie Lordem Tajnej Pieczęci i był nim do 1951 r. Dodatkowo, w latach 1948–1949, był Paymaster-General. W 1951 r.