Mówił po francusku z paryskim akcentem i lubił dyplomację, nie nadawał się jednak na twórcę i kierownika polityki zagranicznej brytyjskiego imperium. Cieszył się wielką popularnością w towarzystwie. Słynął zwłaszcza ze swoich przemówień jakie zwykł wygłaszać po zjedzeniu obiadu.
Życie prywatne 25 lipca 1840 r. Leveson-Gower poślubił Marie Louisę Pelinę von Dalberg (ok. 1812 – 14 marca 1860), córkę Emmericha von Dalberga i Peliny Brignole-Sale. Marie Louisa była wdową po sir Fredericku Dalbergu-Actonie. Granville i Marie nie mieli razem dzieci.
26 września 1865 r. poślubił Castilę Rosalind Campbell (zm. 12 listopada 1938), córkę Waltera Fredericka Campbella i Eleanor Charteris, córkę 8. hrabiego Wemyss. Granville i Castila mieli razem dwóch synów i trzy córki: Victoria Alberta Leveson-Gower (14 kwietnia 1867 – 11 lutego 1953), żona Harolda Russella, miała dzieci Sophia Castelia Mary Leveson-Gower (25 lutego 1870 – 22 marca 1934) Granville George Leveson-Gower (4 marca 1872 – 21 lipca 1939), 3. hrabia Granville Susan Katherine Leveson-Gower (21 sierpnia 1876 – 7 maja 1878) William Spencer Leveson-Gower (11 lipca 1880 – 25 czerwca 1953), 4.