Cieszył się jednak pełnym poparciem lorda Salisbury’ego, który dwukrotnie przekonywał Cadogana do wycofania rezygnacji.
Późniejsze życie Lord Cadogan zrezygnował ostatecznie w lipcu 1902 r., co zbiegło się w czasie z rezygnacją lorda Salisbury’ego ze stanowiska premiera. Cadogan wycofał się z życia publicznego. Pozostał jednak burmistrzem Chelsea, na które to stanowisko został wybrany w 1900 r. (był pierwszym człowiekiem piastującym do stanowisko). Był również honorowym pułkownikiem 3 batalionu Królewskich Fizylierów (3rd Battalion, Royal Fusiliers) i 2 pułku Królewskich Ochotników Middlesex (2nd Middlesex Royal Volunteers). Otrzymał tytuł honorowego doktora prawa Uniwersytetu w Dublinie. Był Sędzią Pokoju w Norfolk, Londynie, Suffolk, Middlesex i Cambridgeshire.
Życie prywatne 16 maja 1865 r. poślubił lady Beatrix Jane Craven (8 sierpnia 1844 – 9 lutego 1907), córkę Williama Cravena, 2. hrabiego Craven, i lady Emily Grimston, córki 1. hrabiego Verulam. George i Beatrix mieli razem siedmiu synów i dwie córki: Albert Edward George Henry Cadogan (29 grudnia 1866 – 2 sierpnia 1878), wicehrabia Chelsea, chrześniak księcia Walii Henry Arthur Cadogan (13 czerwca 1868 – 2 lipca 1908), wicehrabia Chelsea Gerald Oakley Cadogan (28 maja 1869 – 4 października 1933), 6.