Carteret namówił Marię Teresę i Fryderyka Wielkiego do zgody, lecz musiał walczyć o wpływy ze spadkobiercami Walpole’a – braćmi Pelham. Współpracujący z nimi William Pitt nazywał Cartereta „jedynym brytyjskim ministrem, który wyrzekł się swego narodu” (an execrable, a sole minister who had renounced the British nation), lecz w kilka lat później zaadaptował metody Cartereta dla siebie.
Hrabia Granville Gdy zmarła jego matka 18 października 1744, Carteret został hrabią Granville. Jego pierwsza żona zmarła rok wcześniej w Aschaffenburgu, a w kwietniu 1744 r. poślubił lady Sophię Fermor, córkę Lorda Pomfret, ówczesną ikonę mody, młodszą od jego córek. Horace Walpole, syn Roberta Walpole’a, wielokrotnie wyszydzał związek starego Kichota i pięknej Sophie (The nuptials of our great Quixote and the fair Sophia). Druga żona zmarła w roku 1745, pozostawiając córkę Zofię (Sophia), której mężem został potem William Petty, 2. hrabia Shelburne.