W 1828 brał udział w kampanii zakończonej zdobyciem zamku Morea.
Później Spencer zrezygnował ze służby w marynarce i rozpoczął karierę polityczną. Z ramienia partii wigów zasiadał w Izbie Gmin z okręgów Worcestershire (1831-1832) i Midhurst (1832-1834 i 1837-1841). W latach 1840–1845 był członkiem dworu księżnej-wdowy Kentu, matki królowej Wiktorii. Po śmierci swojego starszego brata, Johna, odziedziczył tytuł hrabiego Spencer i zasiadł w Izbie Lordów.
W latach 1846–1848 był Lordem Szambelanem Dworu Królewskiego, zaś w latach 1854-1857 Lordem Stewardem. 8 lipca 1846 roku został członkiem Tajnej Rady. 23 marca 1849 roku został kawalerem Orderu Podwiązki. W 1847 ukończył studia na Uniwersytecie Cambridge z tytułem doktora praw. W 1852 został awansowany do rangi kontradmirała, zaś w 1857 otrzymał tytuł wiceadmirała.
Hrabia był dwukrotnie żonaty. Pierwszy ślub zawarł 23 lutego 1830 roku w Mayfair w Londynie, kiedy to poślubił Georgianę Poyntz (27 marca 1799 – 10 kwietnia 1851), córkę Williama Poyntza i Elisabeth Browne, córki 7. wicehrabiego Montagu. Frederick i Georgiana mieli razem syna i dwie córki: Georgina Frances Spencer (1832 – 1852) John Poyntz Spencer (27 października 1835 – 13 sierpnia 1910), 5.