Ślub odbył się 24 kwietnia 1854 w wiedeńskim kościele Augustianów. Franciszek Józef i Elżbieta mieli czworo dzieci: syna Rudolfa oraz córki Zofię, Gizelę i Marię Walerię.
W 1854, podczas wojny krymskiej Austria pośrednio wystąpiła przeciw Rosji, okupując Mołdawię i Wołoszczyznę. Zimą tego samego roku Franciszek Józef z żoną odbył podróż po Lombardii i Wenecji, aby zademonstrować przynależność tych regionów do cesarstwa.
W 1859 Franciszek Józef mianował Polaka Agenora Gołuchowskiego ministrem spraw wewnętrznych. Zaplanował on reformę cesarstwa w duchu daleko idącego federalizmu. Zasady te zawierał tzw. dyplom październikowy. Jednak pod wpływem kół konserwatywnych w 1861 został wydany tzw. patent lutowy, który znacznie ograniczał kompetencje sejmów poszczególnych krajów.
Równocześnie postępował upadek przewodniej roli Austrii w Związku Niemieckim. Obrady sejmu zwołanego po raz ostatni przez cesarza Austrii ukazały niechęć Prus do jego polityki. Król Prus Wilhelm I Hohenzollern nie przybył, a Otto von Bismarck dążył do usunięcia Austrii ze Związku. W wyniku działań wojennych z Francją i Piemontem w 1859 Austria utraciła Lombardię na rzecz Włoch, w 1866 przegrała również wojnę z Prusami o hegemonię w Związku Niemieckim, który ostatecznie został rozwiązany.