Ludwik Antoni zmarł w 1785, z rozkazu Karola III dzieci zostały odebrane matce i wysłane do Toledo. Maria Teresa i jej siostra trafiły do klasztoru św. Klemensa, miały wtedy odpowiednio 5 i niecałe 3 lata. Edukacją ich brata zajął się toledański kardynał Lorenzana. Król Karol III zaplanował życie klasztorne dla wszystkich dzieci brata, eliminując w ten sposób ich potencjalne roszczenia do tronu i możliwość posiadania prawnego potomstwa.
Rehabilitacja Krótko po wstąpieniu na tron Karola IV oraz jego małżonki Marii Ludwiki Parmeńskiej, rodzina Marii Teresy została zrehabilitowana. W 1797 królowa Maria Ludwika zaaranżowała małżeństwo Marii Teresy ze swoim faworytem i pierwszym ministrem króla, Manuelem Godoyem, aby w ten sposób podnieść jego status społeczny. Brat Marii Teresy, Ludwik Maria prowadził negocjacje z koroną na temat warunków jej małżeństwa, dzięki którym rodzeństwo Vallabriga odzyskało tytuły i liczne przywileje utracone przez małżeństwo ojca.