Rozpad poprawnych relacji między małżonkami pogłębiały nie tylko różnice w światopoglądzie (któremu w rządach Karol zaprzeczał), ale też liczne romanse księcia. Punktem eskalującym było nawiązanie otwartego romansu Karola III z hrabianką Emmą Guadagni (1829–1866), szwagierką gubernatora Tyrolu. Poznali się w lutym 1852 we Florencji. Podczas ponownej wizyty w Toskanii, gdzie spotkał się z wielkim księciem Leopoldem II i królową Hiszpanii Izabelą II, kochankowie wystąpili wspólnie na przyjęciu, co wywołało skandal. Książę powrócił z partnerką do Parmy i obdarował ją posiadłością w Lukce. Doprowadziło to do odsunięcia się Ludwiki od męża, także w sferze politycznej, która przystąpiła do spisku młodowłoskiego.

Odznaczenia 22x20px|border|link=|alt=| Księstwo Parmy: Wielki Mistrz Konstantyńskiego Orderu św. Jerzego (1849)