W Izbie Lordów Granville dał się poznać jako zwolennik wolnego handlu. Kiedy wigowie powrócili w 1846 r. do władzy premier John Russell mianował go na stanowisko opiekuna Stajni Królewskich. Granville szybko piął się po szczeblach rządowej i partyjnej kariery. W 1848 r. został wiceprzewodniczącym Zarządu Handlu i odegrywał prominentną rolę w Wystawie Światowej 1851 r. Od 1848 r. pełnił również urząd Paymaster-General. W 1851 r. zastąpił lorda Palmerstona na stanowisku ministra spraw zagranicznych. W gabinecie Russella pozostawał do jego upadku w 1852 r. Kiedy pod koniec tego roku swój gabinet sformował lord Aberdeen Granville objął w nim stanowisko Lorda Przewodniczącego Rady. W 1854 r. zamienił to stanowisko na urząd Kanclerza Księstwa Lancaster. Po upadku gabinetu Aberdeena i objęcia stanowiska premiera przez Palmerstona w 1855 r. Granville powrócił na stanowisko Lorda Przewodniczącego.
Jego zainteresowanie sprawami edukacji sprawiły, że w 1856 r. Granville został kanclerzem Uniwersytetu Londyńskiego. Na tym stanowisko pozostawał przez następne 35 lat. Był gorącym zwolennikiem studiowania kobiet i nauki współczesnych języków na uniwersytetach. W 1857 r. został odznaczony Orderem Podwiązki.