W czerwcu 1794 r. poważnie poróżnił się z Maksymilianem Robespierre'em, któremu zarzucał wprowadzanie kultu własnej osoby i wrogi rewolucyjnej obyczajowości mistycyzm. Vadier bezskutecznie usiłował go skompromitować poprzez zaprezentowanie w Konwencie „sprawy Catherine Théot”, fałszywie ukazującej Robespierre’a jako twórcę własnej, pseudoreligijnej sekty. Oskarżał go również otwarcie o faktycznie przejęcie dyktatorskiej władzy w Komitecie Ocalenia Publicznego. To po kolejnej kłótni z Vadierem Robespierre przestał uczestniczyć w pracach Komitetu na ponad miesiąc na przełomie czerwca i lipca 1794. Vadier wziął następnie aktywny udział w przewrocie termidoriańskim.
Po rewolucji W 1796 r. został skazany na deportację razem z Collotem d'Herbois, Billaudem-Varenne i Bertrandem Barere'em, zdołał jednak uciec i ukrywał się aż do ogłoszenia amnestii. W czasach Dyrektoriatu był podejrzewany o współudział w spisku Sprzysiężenia Równych i do 1799 r. pozostawał w więzieniu.
W 1816 r., w czasie Drugiej Restauracji Burbonów na mocy dekretu o królobójstwie,