Od 1855 r. był liderem partii wigów w Izbie Lordów. Po przekształceniu się wigów w Partię Liberalną w 1859 r. został jej pierwszym liderem w Izbie Lordów. W 1856 r. przewodniczył angielskiemu poselstwu do Rosji, wysłanemu na koronację cara Aleksandra II Romanowa. W czerwcu 1859 r., po kolejnym kryzysie rządowym, królowa Wiktoria chciała powierzyć Granville’owi stanowisko premiera. Ostatecznie jednak premierem został ponownie lord Palmerston, a Granville raz jeszcze objął stanowisko Lorda Przewodniczącego Rady.
Początek lat 60. był ciężki dla Granville. Najpierw zmarła jego żona, później matka i bliski przyjaciel Granvilla, lord Canning. Granville poświęcił się całkowicie polityce. Po śmierci lorda Palmerstona w 1865 r. Granville pozostał Lordem Przewodniczącym w drugim gabinecie Russella. Dodatkowo otrzymał w 1865 r. honorowe stanowisko lorda strażnika Pięciu Portów. Podczas amerykańskiej wojny secesyjnej Granville należał do grona przeciwników angażowania się Wielkiej Brytanii w konflikt. Przedstawione we wrześniu 1862 r. memorandum przeciwko interwencji skłoniło premiera Palmerstona do zachowania neutralności w konflikcie.