W Wilnie Barlow spotkał francuskiego dyplomatę Jeana Baptistę Petry, z którym razem udał się w stronę Warszawy, obserwując odwrót Wielkiej Armii z Rosji.
Choroba i śmierć 17 grudnia 1812 Barlow znalazł się w Warszawie, gdzie napisał ostatni list do żony. Informował w nim, że zamierza jak najszybciej dotrzeć do Francji przez Wiedeń. Z Warszawy Barlow wraz z bratankiem i Petrym udali się w kierunku Krakowa. 19 grudnia 1812 mimo przenikliwego zimnego wiatru Barlow przez cały dzień jechał lekkim powozem, co doprowadziło do ciężkiego przeziębienia i zapalenia płucIra Daye, The Fatal Cruise of the Argus: Two Captains in the War of 1812, Naval Institute Press 1994, s.127. Rankiem 21 grudnia w ciężkim stanie dotarł do miasta Żarnowiec. Wobec niemożności kontynuowania podróży zatrzymał się w domu burmistrza Jana Blaskiego. Mimo udzielenia mu pomocy lekarskiej zmarł pięć dni później. Tom Barlow chciał zabrać zwłoki swego wuja do ojczyzny, ale wobec zagrożenia ze strony oddziałów kozackich, operujących w pobliżu Żarnowca zaniechano realizacji tego pomysłu. 28 grudnia 1812 zwłoki amerykańskiego dyplomaty spoczęły na cmentarzu przykościelnym.