W 1923 r. Parmoor poparł wyborczy manifest Partii Pracy. Kiedy na początku 1924 r. laburzyści utworzyli swój pierwszy mniejszościowy gabinet premier MacDonald zaproponował Parmoorowi stanowisko Lorda Przewodniczącego Rady, co ten zaakceptował. Razem z lordem Haldane’em kierował również pracami Izby Lordów, co było o tyle trudne, że parowie konserwatywni stanowili większość w Izbie i rząd przegrywał tam każde głosowanie. W tym czasie Parmoor został brytyjskim reprezentantem w Radzie Ligi Narodów oraz w jej Zgromadzeniu.

Po upadku rządu laburzystów pod koniec 1924 r. Parmoor pozostał aktywnym członkiem izby wyższej. Po śmierci Haldane’a w 1928 r. stanął na czele Partii Pracy w Izbie Lordów. W drugim rządzie MacDonalda w latach 1929-1931 był ponownie Lordem Przewodniczącym Rady. Odpowiadał zwłaszcza za sprawy związane z Ligą Narodów. Sprzeciwił się powołaniu rządu narodowego w 1931 r. i wraz z większością Partii Pracy przeszedł do opozycji. Po wyborach parlamentarnych we wrześniu 1931 r. zrezygnował ze stanowiska lidera partii w Izbie Lordów.

Parmoor zmarł w 1941 r. Tytuł barona odziedziczył jego najstarszy syn, Alfred.