Napoleon zaczął się więc starać o rękę najpiękniejszej wówczas księżniczki Europy, Karoli von Holstein-Gottorp, zwanej księżniczką Waza, wnuczki zdetronizowanego króla Szwecji Gustawa IV Adolfa, ale wszelkim planom matrymonialnym sprzeciwił się jej ojciec Gustaw Vasa, były następca tronu Szwecji, nie widząc dla ukochanej córki przyszłości w niespokojnej politycznie Francji (powiedział jej: Jeśli za niego wyjdziesz, za 20 lat znajdziesz się na bruku, pozbawiona wszystkiego). Był wówczas rok 1850, ks. Gustaw słusznie przepowiedział przyszłość i wydał Karolę czym prędzej za Alberta, przyszłego króla Saksonii. Następną kandydatką z rodów suwerennych była Adelajda von Hohenlohe, krewna królowej Wiktorii, ale i tu zaloty cesarza Francuzów odrzucono. Trzeba się było zatem rozejrzeć za kandydatką z rodów niekoronowanych.