W lutym 1797 do braci dołączył ich starszy brat – Ludwik Filip, i wszyscy trzej udali się do Nowego Jorku i Bostonu, a następnie dalej na granicę stanu Maine.

We wrześniu 1797 Ludwik Karol i jego bracia dowiedzieli się o wygnaniu ich matki do Hiszpanii i postanowili powrócić do Europy. Pojechali do Nowego Orleanu skąd chcieli popłynąć na Kubę i dalej do Hiszpanii, ale w Zatoce Meksykańskiej zostali zatrzymani przez statek brytyjski. Brytyjczycy zabrali braci do Hawany i ci spędzili tam cały rok zanim niespodziewanie nie wydalono ich na hiszpańskie terytoria. Bracia popłynęli w kierunku Nowej Szkocji, ostatecznie powrócili do Nowego Jorku, a w styczniu 1800 przybyli do Wielkiej Brytanii. Zamieszkali w Twickenham, pod Londynem. thumb|240px|pomnik nagrobny w Konkatedrze św. Jana w Valletcie We wrześniu 1804 Ludwik Karol wstąpił do Marynarki Królewskiej, ale jego słabe zdrowie nie pozwoliło mu na robienie kariery w wojsku. W październiku, on i jego bracia, udali się na wybrzeże francuskie, w Boulogne zostali ostrzelani przez baterie francuskie, ale udało im się uciec. W 1808 Ludwik Filip towarzyszył Ludwikowi Karolowi w podróży na Gibraltar, Sycylię i Maltę. W czasie nocy poprzedzającej przybycie na Maltę, Ludwik Karol silnie zaniemógł – jego pogrzeb odbył się 3 czerwca.