W Anglii znany jest jako FitzRoy’s storm barometer.
Ostatnie lata Kiedy Darwin opublikował swoje dzieło O pochodzeniu gatunków, FitzRoy poczuł się zdradzony, gdyż większość materiałów zebranych na poparcie darwinowskiej teorii ewolucji została zebrana podczas rejsu pod dowództwem FitzRoya. 30 czerwca 1860 r., kiedy FitzRoy przebywał w Oksfordzie przedstawiając nowe dane meteorologiczne, trafił na spotkanie British Association for the Advancement and Science, gdzie Samuel Wilberforce krytykował Darwina. FitzRoy wtedy, stojąc w centrum publiki, trzymając nad głową Biblię, nawoływał zgromadzonych, aby prędzej uwierzyli Bogu niż człowiekowi. Twierdził później, iż ogłoszenie teorii Darwina sprawiło mu najostrzejszy ból w życiu.
W 1857 r. uzyskał rangę kontradmirała. W 1863 r. odszedł na emeryturę uzyskując rangę wiceadmirała. Wkrótce FitzRoy popadł w depresję. W 1865 r. poderżnął sobie gardło brzytwą, w podobny sposób jak w 1822 r. jego wuj lord Castlereagh.
Jego imieniem został nazwana góra Fitz Roy na południowym krańcu Argentyny o wysokości 3440 m n.p.m. oraz gatunek drzewa z rodziny cyprysowatych – Ficroja cyprysowata (Fitzroya cupressoides), jak również planetoida (8330) Fitzroy.