W roku 1936 został mianowany kandydatem swej partii na urząd wiceprezydenta USA u boku gubernatora Kansas Alfa Landona. Republikanie przegrali wówczas wysoko z kandydatami demokratów, urzędującymi prezydentem i wiceprezydentem Franklinem Delano Rooseveltem i Johnem Nance Garnerem. Wygrali wybory tylko w dwóch (Maine i Vermont) stanach, co dało im tylko 8 głosów elektorskich.
Knox, z przekonania bardziej liberał i przeciwnik izolacjonizmu, popierał politykę prezydenta Roosevelta, który powołał go, wraz z innym wpływowym republikaninem, byłym sekretarzem stanu Henrym Stimsonem, który został sekretarzem wojny, na sekretarza marynarki w roku 1940. Na tym stanowisku Knox odegrał wielką rolę w czasie II wojny światowej.
Dokonał unowocześnienia i powiększenia floty amerykańskiej, zwracając specjalną uwagę na obszar Oceanu Spokojnego.
Zmarł nagle na serce w Waszyngtonie. Jego żona, Annie Reid Knox, założyła Stypendium Knoxa, oferujące możliwość studiowania w USA (Harvard) mieszkańcom krajów Wspólnoty Narodów.
Okręt USS „Frank Knox” został nazwany tak na jego cześć, ale Fort Knox wziął swoje imię nie od niego, lecz Henry’ego Knoxa.