jego spory z zastępcami i komisarzem Konwentu Philippeaux doprowadziły republikanów do klęski w walkach pod Saumur. Jego obrońcy, w tym inny walczący w Wandei generał republikański Louis Marie Turreau, podkreślali, że Rossignol był szczerym patriotą i odznaczał się osobistą odwagą. Ostatecznie 27 kwietnia 1794 Rossignol został zawieszony przez Komitet Ocalenia Publicznego, a następnie całkowicie wycofał się z życia wojskowego po sporze z Billaudem-Varenne o swoje związki z Dantonem i klubem kordelierów. Zamieszkał w Orleanie.
Po przewrocie thermidoriańskim 2 sierpnia 1794, podejrzewany o czynne wspieranie jakobinów, został aresztowany i przebywał w więzieniu do 25 października 1795. Po wyjściu na wolność przystał do Sprzysiężenia Równych, które liczyło na jego popularność wśród ubogich paryżan w czasie planowanej rewolucji. 11 maja 1796 został za to aresztowany, jednak sąd w Vendome uniewinnił go. Za czasów Dyrektoriatu ponownie służył w armii, z której został zwolniony w 1797, podejrzewany o dalsze rozprzestrzenianie idei rewolucyjnych w swoim otoczeniu.