Choć zyskał wiele władzy wraz z nominacją na stanowisko ministra południowego departamentu w 1721 r., padł szybko ofiarą intryg, jakie przygotowywali lord Townshend i Robert Walpole.
Niechęć Walpole’a Walpole uważał wpływ Cartereta na króla za niebezpieczny dla siebie, więc wysłał go do Irlandii, jako jej nowego Lorda Namiestnika. Carteret wylądował w Dublinie 23 października 1724 r. i pozostał tam do roku 1730. Musiał zwalczać zamieszanie, jakie powstało wokół tzw. patentu Wooda i Swiftowskich Draper's Letters. Carteret, który zaprzyjaźnił się ze Swiftem, częstym gościem w jego domu, umiał pogodzić interesy lokalne z londyńskimi, czym zdobył sobie szacunek i sympatię.
Ameryki Carteret odziedziczył 1/8 udziałów w kolonii (prowincji) Karolina. W latach 1727–1728 John dowiedział się, że pozostali udziałowcy mają zamiar odsprzedać udziały koronie. Carteret jako jedyny nie zgodził się odsprzedać udziałów w 1729 r. i w roku 1730 wycofał się z rządu, by zachować udział. Jego ziemie leżały blisko stanu Wirginia w dzisiejszym stanie Karolina Północna i znane były potem jako Granville District. Ród posiadał je aż do śmierci syna Johna, Roberta, w roku 1776.