Koniec rządowi położyło zabójstwo księcia de Berry, nadziei na kontynuację dynastii, przez republikanina Louvela. Ultrasi uznali to morderstwo za efekt polityki umiarkowania i w 1820 Decazes musiał odejść.
Rząd Richelieu left|thumb|Jean-Baptiste de Villèle
Rząd Decazesa był ostatnim umiarkowanym gabinetem. Richelieu, sprawujący stanowisko premiera bez dawnego entuzjazmu i energii, oparł się zdecydowanie na prawicy parlamentarnej, która jednak nigdy do końca go nie zaakceptowała. Pod presją prawicy uchwalono prawo wyborcze oparte na niegdyś odrzuconych postulatach Decazesa, uchwalono specjalnie środki przeciw tajnym stowarzyszeniom i osobom uznanym za niebezpieczne oraz zawieszono prawo prasowe. Kolejne wybory 1821 wzmocniły pozycję ultrasów, którzy doprowadzili do upadku rządu.
Rząd Villèlego Nowy gabinet składał się w całości ze zwolenników powrotu do stanu sprzed 1789, skupionych wokół Karola Burbona i premiera. Ludwik XVIII, wówczas już stary i zniedołężniały, w bardzo ograniczonym stopniu angażował się w politykę. Villèle okazał się premierem umiarkowanym w słowach, lecz zdecydowanym w czynach, ograniczając w zdecydowany sposób wolność prasy, poszerzając wpływ katolików na szkolnictwo oraz organizując interwencję na rzecz Ferdynanda VII w Hiszpanii.