Był także członkiem American Colonization Society i hojnie wspierał finansowo organizacje charytatywne.
Key był również człowiekiem głęboko religijnym. W pewnym momencie swojego życia poważnie rozważał porzucenie kariery prawniczej na rzecz służby duchownej. Ostatecznie pozostał świeckim w Kościele Episkopalnym w Stanach Zjednoczonych.
Key był zdecydowanie przeciwny wojnie brytyjsko-amerykańskiej, głównie z powodów religijnych. Nie przeszkodziło mu to jednak służyć czynnie w 1813 roku przez 13 dni w kompanii artylerii. W 1814 roku służył ochotniczo u generała Waltera Smitha w przegranej przez Amerykanów bitwie pod Bladensburgiem.
Zmarł 11 stycznia 1843 na zapalenie opłucnej odwiedzając swoją córkę w Baltimore. Tam też został pochowany, jednak w 1866 roku, zgodnie z jego wolą, jego ciało zostało przeniesione do Fredericka.
Hymn Stanów Zjednoczonych thumb|250px|Wczesna, drukowana kopia The Star-Spangled Banner Francis Scott Key uczestniczył w wydarzeniach wojny brytyjsko-amerykańskiej, które zainspirowały go do napisania tekstu pieśni, która ostatecznie prawie 120 lat później została oficjalnym hymnem państwowym Stanów Zjednoczonych.