Po rewolucji amerykańskiej spadkobiercy Roberta otrzymali rekompensatę pieniężną.
Powrót do Anglii Przez kilka miesięcy roku 1742 był brytyjskim ambasadorem w Holandii.
Królowa Karolina z Ansbachu unikała Cartereta, ponieważ Walpole czynił mu złą u niej reklamę i z tego powodu, mimo sympatii króla, Carteret aż do upadku Walpole’a w roku 1742 mógł być tylko szefem opozycji w Izbie Lordów. By zjednać sobie królową, miłośniczkę literatury, pokrył koszty pierwszego rzetelnego tłumaczenia Don Kichota i zaangażował się w organizowanie Foundling Hospital, dał się jednak wciągnąć w skierowane przeciw rodzicom intrygi Fryderyka, księcia Walii, wobec czego królowa stwierdziła, że Bolingbroke i Carteret to dwaj najbardziej bezwartościowi i szkodliwi ludzie w kraju (the two most worthless men of parts in the country).
Carteret, podobnie jak znaczna część społeczeństwa, nawoływał do wypowiedzenia wojny Hiszpanom (1739), a potem Francji (1741), by wesprzeć Austrię. W roku 1742 został ministrem północnego departamentu, a w roku 1743 był obecny u boku króla Jerzego II podczas bitwy pod Dettingen (27 czerwca). Urząd ministra pełnił do listopada 1744 r.