Dla Southeya, czułego i kochającego ojca, był to wielki cios, z którego nie potrafił się podnieść. W roku 1837 zmarła jego żona Edith. Dwa lata później sześćdziesięciopięcioletni artysta poślubił poetkę Caroline Bowles, z którą korespondował przez ostatnie dwadzieścia lat.
Ostatnie lata swojego życie Southey spędził w obłędzie. W lutym 1843 roku dostał silnego ataku apopleksji, zaś miesiąc później – 21 marca – zmarł.
Twórczość Robert Southey jest zupełnie inną indywidualnością twórczą niż Wordsworth, czy Coleridge. Stanisław Kryński, badacz twórczości poetów jezior napisał o nim: talent niewątpliwy, ale nieposiężnego geniuszu szukalibyśmy na próżno. Southey był poetą bardzo pracowitym i zostawił po sobie duży dorobek literacki, ale w zgodnej opinii większości historyków literatury ilość w przypadku Southeya bardzo rzadko przechodziła w jakość. Pracował on, inaczej niż dwaj pozostali artyści z Krainy Jezior, jako zawodowy pisarz, żył z tego i często zmuszony był pisać na zamówienie, co bardzo odbiło się na jakości jego utworów.