W 1846 roku Mary Newbold wyszła za mąż i opuściła służbę, a księżna Ludwika postanowiła oddzielić wychowanie swoich córek, przydzielając każdej z nich inną guwernantkę.
mały|Zamek Possenhofen, gdzie Elżbieta spędziła swoje dzieciństwo Dzieciństwo spędziła w zamku Possenhofen nad jeziorem Starnberg. Otoczenie, w jakim dorastała, sprzyjało rozwijaniu pasji dziewczynki, jakimi stały się jeździectwo, wędkowanie, spacery po lesie i polowania.thumb|left|Rodzeństwo Elżbiety (1854). Od lewej: Zofia, Maksymilian Emanuel, Karol Teodor, Helena, Ludwik Wilhelm, Matylda i Maria.Ponieważ rodzice nie liczyli, że wyjdzie za mąż za dobrą partię, odebrała niezbyt staranne wykształcenie. Sisi nie przywiązywała większej wagi do nauki. Lubiła rysować zwierzęta i pejzaże oraz pisać wiersze. Jako piętnastolatka zakochała się w hrabim Ryszardzie S., który pozostawał w służbie książęcej. Ojciec Elżbiety postanowił odesłać młodzieńca na misję, z której ten wrócił chory i wkrótce zmarł. Sisi bardzo głęboko przeżyła utratę swojej młodzieńczej miłości – całe dnie spędzała płacząc bądź pisząc miłosne wiersze.