biorąc udział w konwencji na temat praw stanów w Jackson w styczniu 1852, oraz wspierając kandydata Demokratów, Franklina Pierce’a w kampanii prezydenckiej.
Pierce wygrał wybory, po czym mianował Davisa na stanowisko Sekretarza Wojny. Po upływie kadencji prezydenta w 1857, Davis również utracił stanowisko, lecz wówczas ponownie został wybrany do Senatu 4 marca 1857.
4 lipca 1858 Davis wygłosił przemówienie w Bostonie przeciwko rosnącym nastrojom secesjonistycznym, grożącym rozpadem federacji. Przed wyborem Lincolna na prezydenta, Karolina Południowa ogłosiła jako pierwszy stan wyjście z Unii. Mimo swojego sprzeciwu wobec secesji, Davis 21 stycznia 1861 ogłosił secesję z Unii stanu Missisipi, po czym zrezygnował z miejsca w Senacie.
Przywództwo Konfederacji Cztery dni po swojej rezygnacji, Davis został mianowany generał majorem wojsk Missisipi, po czym wziął udział w konwencji stanów południowych, które wystąpiły z Unii. W czasie jej trwania, 9 lutego 1861 został obrany tymczasowym prezydentem nowo utworzonych Skonfederowanych Stanów Ameryki, na wniosek stanu Alabama. Urząd ten objął 18 lutego. Wkrótce powołał komisję pokojową, mającą rozstrzygnąć kwestie sporne między Konfederacją a Unią. Z drugiej strony, nakazał generałowi Pierre G.T.