Z małżeństwa pochodzi czworo dzieci:
Małgorzata Maria Teresa Henryka (1847–1893)∞ Karol (1848–1909), książę Madrytu, syn Jana Karola (1822–1887), infanta Hiszpanii, i Marii Beatrycze (1824–1906), księżniczki Modeny Robert Karol Ludwik Maria (1848–1907), książę Parmy i Piacenzy w 1854–1859,∞ 1) Maria Pia (1849–1882), królewna Obojga Sycylii, córka Ferdynanda II (1810–1859) i Marii Teresy Habsburg-Lotaryńskiej (1816–1867), księżniczki cieszyńskiej;∞ 2) Maria Antonina (1862–1959), infantka Portugalii, córka Michała I Uzurpatora (1802–1866) i Adelajdy (1831–1909), księżniczki Löwenstein; Alicja Maria Karolina Ferdynanda Rachela Joanna Filomena (1849–1935)∞ Ferdynand IV (1835–1908), wielki książę Toskanii, syn Leopolda II (1797–1870) i Marii Antoniny (1814–1898), królewny Obojga Sycylii; Henryk Karol Ludwik Jerzy (1851–1905), hrabia Bardi∞ 1) Maria Immaculata (1855–1874), królewna Obojga Sycylii, córka Ferdynanda II (1810–1859) i Marii Teresy Habsburg-Lotaryńskiej (1816–1867), księżniczki cieszyńskiej;∞ 2) Aldegunda (1858–1946), księżna Guimarães, córka Michała I Uzurpatora (1802–1866), króla Portugalii, i Adelajdy (1831–1909), księżniczki Löwenstein. Pomimo posiadania wspólnego potomstwa, małżeństwo Karola III i Ludwiki nie było udane. Oboje mieli silne osobowości o niepohamowanym temperamencie.