Karol Edward nie doczekał się potomstwa ze swoją żoną, ale jego kochanka Clementina Walkinshaw urodziła córkę: Charlotte Stuart, księżną Albany (ur. 29 października 1753, zm. 17 listopada 1789), kochankę Ferdinanda Maximiliena Mériadeca de Rohan, arcybiskupa Bordeaux, matkę: Marie Victoire Adélaïde de Rohan (ur. 1779, zm. 1836), trzykrotną mężatkę i matkę syna, Charlotte Maximilienne Amélie de Roehenstart (ur. 1780, zm. 1806), zmarłą w połogu razem z dzieckiem, Charles Edward Augustus Maximilian de Roehenstart (Rohan+Stuart) (ur. 1784, zm. 1854), zmarłego bezdzietnie.
W 1783 Karol Edward legitymizował córkę i nadał jej tytuł księżnej Albany oraz Jej królewskiej wysokości. Tytuły te nie dały Charlotte praw do dziedziczenia po ojcu jego pretensji do tronu Anglii. Przez kolejne pięć lat córka mieszkała z ojcem we Florencji. Karol Edward zmarł w 1788 i został pochowany w bazylice katedralnej we Frascati, gdzie jego brat był biskupem. Po śmierci brata w 1807 ich prochy zostały pochowane w bazylice św. Piotra na Watykanie, razem z prochami ich rodziców.
Odznaczenia Kawaler Orderu Podwiązki oraz Orderu Ostu.