Małżeństwa Karol był dwukrotnie żonaty. Pierwszy raz ożenił się 31 stycznia 1246 w Aix-en-Provence z Beatrycze (1234 – 23 września 1267), córką hrabiego Prowansji Rajmunda Berengara IV i Beatrycze, córki Tomasza I, hrabiego Sabaudii. Beatrycze była młodszą siostrą Małgorzaty (królowej Francji), Eleonory (królowej Anglii) i Sanchy (żony Ryszarda, pretendenta do tronu Niemiec). Karol i Beatrycze mieli razem czterech synów i trzy córki: Ludwika (ur. i zm. 1248 w Nikozji) Blankę (1250 – lipiec 1269), żonę Roberta III, hrabiego Flandrii Beatrycze (1252 – 1275), żonę Filipa I, tytularnego cesarza łacińskiego Karola II Kulawego (1254 – 5 maja 1309), króla Neapolu Filipa (1256 – 1 stycznia 1277), tytularnego króla Tesaloniki Roberta (1258–1265) Elżbietę lub Marię (1261 – ok. 1300), żonę Władysława IV Kumańczyka, króla Węgier.
Po śmierci pierwszej żony ożenił się ponownie, 18 listopada 1268 w Trani, z Małgorzatą (1250 – 4 września 1308), córką Eudoksjusza Burgundzkiego, hrabiego Nevers, i Matyldy II, pani de Bourbon, córki Archambauda IX, pana de Bourbon. Karol i Małgorzata mieli razem jedną córkę, Małgorzatę, zmarłą w dzieciństwie.