Ponownie w rządzie Kiedy w 1806 r. lord Grenville zastąpił Pitta na stanowisku premiera, Fox ponownie został ministrem spraw zagranicznych i przewodniczącym Izby Gmin. Starał się doprowadzić do zawarcia pokoju z Francją, jednakże bezskutecznie. 10 czerwca wygłosił płomienną mowę o przygotowywanej właśnie Ustawie o Zniesieniu Handlu Niewolnikami. Niedługo później poczuł się źle. Jego stan zdrowia szybko się pogorszył. Zmarł 13 września w Cheswick.
Popierana przez Foksa Ustawa o zniesieniu handlu niewolnikami została przyjęta 25 marca 1807 r. Fox w swojej ostatniej woli wyraził życzenie, aby go pochować w Chertsey, gdzie mieszkał przez większość życia. Nie uszanowano jednak jego testamentu i został pochowany w katedrze westminsterskiej, u boku Williama Pitta, który zmarł w tym samym roku. W 2006 r.