Karol Emanuel i jego żona opuścili Turyn udając się do Parmy, a następnie do Florencji. W lutym 1799 roku względy bezpieczeństwa zmusiły Karola Emanuela do wycofania się na Sardynię. W następnym miesiącu Francuzi zajęli Florencję i wypędzili Wielkiego Księcia Toskanii z jego posiadłości.
Abdykacja 7 marca 1802 żona Karola Emanuela – Maria Klotylda zmarła. Ta śmierć tak go poruszyła, że zdecydował się abdykować. Uczynił to 4 czerwca 1802, na korzyść swojego brata – Wiktora Emanuela. Karol Emanuel zachował sobie jednak tytuł króla. Mieszkał w Rzymie i miasteczku Frascati, pod Rzymem.
We Frascati jego częstym gościem był jego kuzyn Henryk Benedykt Stuart, kardynał i książę Yorku, ostatni członek królewskiej rodziny Stuartów. Po śmierci Henryka, w 1807, Karol Emanuel został najstarszym żyjącym potomkiem Karola I, króla Anglii i Szkocji. Jakobici obwołali go nawet Karolem IV, królem Anglii, Szkocji, Francji i Irlandii, mimo że on sam nie wysunął żadnych roszczeń.
Ostatnie lata W 1815, w wieku 64 lat, Karol Emanuel złożył śluby w zakonie jezuitów. Nigdy nie przyjął święceń kapłańskich, do końca życia mieszkał w jezuickim nowicjacie w Rzymie. Zmarł 6 października 1819 i został pochowany w kościele św.