W 1866 r. liberałowie przegrali wybory i na dwa lata znaleźli się w opozycji. Po powrocie do władzy w 1868 r. Granville został ministrem kolonii w rządzie Gladstone’a. Po śmierci lorda Clarendona w 1870 r. Granville został ministrem spraw zagranicznych. Na tym stanowisku musiał stawić czoła problemom związanym z wojną francusko-pruską i ekspansją rosyjską w Azji Środkowej. Stanowisko utracił po wyborczej porażce liberałów w 1874 r. W opozycji był krytykiem polityki zagranicznej rządu Beaconsfielda, którą nazywał „uduchowioną”. W 1880 r. powrócił do resortu spraw zagranicznych.
Lord Granville popełnił poważny błąd lekceważąc sprawę wyspy Angra Pequena, która została w 1884 r. ogłoszona niemieckim protektoratem i stała się niemieckim oknem na południowo-zachodnią Afrykę. Działania Granville’a na stanowisku ministra spraw zagranicznych były krytykowane nawet w jego macierzystej partii. Ostatecznie z resortem spraw zagranicznych pożegnał się w 1885 r. W 1886 r. został na pół roku ministrem kolonii, by w lipcu 1886 r. ostatecznie wycofać się z życia publicznego. Zmarł w 1891 r.