Utrzymał się na tych stanowiskach do wyborczej porażki konserwatystów w 1945 r.
Po powrocie konserwatystów do władzy w 1951 r. ponownie został przewodniczącym Izby Lordów (był nim do 1957 r.) i Lordem Tajnej Pieczęci (był nim do 1952 r.). W 1952 r. został ministrem ds. Wspólnoty Narodów, a następnie Lordem Przewodniczącym Rady. W marcu 1957 r. zrezygnował ze stanowisk rządowych.
Był gorącym zwolennikiem utrzymania w całości Imperium Brytyjskiego i zachowania dominującej pozycji białej mniejszości w rządach Południowej Afryki i Rodezji. Był również przeciwnikiem reformowania Izby Lordów. W 1961 r. został pierwszym przewodniczącym konserwatywnego Monday Club, który to urząd sprawował do swojej śmierci. W latach 1951–1971 był również Kanclerzem Uniwersytetu w Liverpoolu.
8 grudnia 1915 r. poślubił Elizabeth Vere Cavendish (22 stycznia 1897 – 5 czerwca 1982), córkę Richarda Fredericka Cavendisha i lady Moyry de Vere Beauclerk, córki 10. księcia St Albans. Robert i Elisabeth mieli razem trzech synów. Byli to: Robert Edward Peter Gascoyne-Cecil (24 października 1916 – 11 lipca 2003), 6. markiz Salisbury Michael Charles James Cecil (27 października 1918 – 27 października 1934) Richard Hugh Vere Cecil (31 stycznia 1924 – 12 sierpnia 1944)