Plany utworzenia nowej partii spełzły jednak na niczym i deputowani przyłączyli się do stronnictwa torysów.
Williams-Wynn został w styczniu 1822 r. mianowany członkiem Tajnej Rady i przewodniczącym Rady Kontroli w gabinecie lorda Liverpoola. Pozostał na tym stanowisku także w gabinetach George’a Canninga i lorda Godericha. Jednak w 1828 r. nowy premier, książę Wellington, nie powierzył Williamsowi-Wynnowi żadnego stanowiska.
Kiedy w 1830 r. wybory wygrali wigowie lorda Greya, Williams-Wynn otrzymał stanowisko sekretarza ds. wojny, ale nie został członkiem gabinetu. Odszedł z tego stanowiska już w kwietniu 1831 r., nie zgadzając się z przygotowywaną przez rząd reformą wyborczą. W 1834 r. do władzy powrócili torysi, a premier Robert Peel mianował Williamsa-Wynna Kanclerzem Księstwa Lancaster, ponownie bez prawa zasiadania w gabinecie. Williams-Wynn utracił to stanowisko po upadku rządu w 1835 r. W latach 1847–1850 był Ojcem Izby Gmin.
W 1806 r. poślubił Mary Cunliffe, córkę sir Forstera Cunliffe'a, 1. baroneta. Miał z nią dwóch synów i pięć córek.