Ludwik Antoni, który był słabego zdrowia, zmarł w wyniku choroby w 1785. Z rozkazu Karola III dzieci zostały odebrane matce i oddane pod opiekę kardynała Francisca Lorenzany. Córki trafiły do klasztoru św. Klemensa w Toledo, a synem zajął się sam Lorenzana, który wykształcił Ludwika Marię na swojego następcę, oraz, jak jego ojciec, arcybiskupa Toledo i przyszłego kardynała. Religijna edukacja dzieci infanta była kolejnym środkiem, podjętym przez króla w celu zabezpieczenia sukcesji syna. Maria Teresa nie sprzeciwiła się woli Karola III, prawdopodobnie licząc na jego przychylność. Król okazał się jednak surowy i nie pozwolił jej odwiedzać dzieci ani powrócić do rodzinnej Saragossy. Musiała pozostać w Arenas del Pedro, skąd mogła udawać się jedynie do posiadłości w Velada. Rok po śmierci infanta burmistrz Arenas del Pedro poinformował sekretarza Floridablanca o romansie Marii Teresy z młodym Franciskiem del Campo, który stał się lokalnym skandalem. Francisco został natychmiast wezwany do Madrytu, gdzie objął nowe stanowisko.