31 października 1454 ożenił się z Izabelą (1436–25 września 1465), córką Karola I, księcia de Bourbon, i Agnieszki, córki księcia Burgundii Jana bez Trwogi. Karol chciał poślubić angielską księżniczkę Małgorzatę, ale na przeszkodzie stanął podpisany przez jego ojca w 1435 traktat w Arras, który zobowiązywał Karola do poślubienia jedynie księżniczek francuskich. Karol i Izabela mieli razem jedną córkę: Maria (13 lutego 1457–27 marca 1482), księżna Burgundii
thumb|left|Herb Karola Śmiałego Karol pozostawał w przyjaznych stosunkach z bratem swojej pierwszej żony, delfinem Ludwikiem, który skłócony z ojcem znalazł w 1456 schronienie na dworze burgundzkim. Pozostawał tam do śmierci ojca w 1461, kiedy został kolejnym królem Francji jako Ludwik XI. Jako król Francji Ludwik podjął jednak politykę nieprzyjazną Burgundii, odmawiając przekazania miast nad Sommą, które Filip Dobry przekazał Karolowi VII traktatem w Arras. 12 kwietnia 1465 Filip III przekazał faktyczne rządy księstwem w ręce Karola. Już wkrótce Karol przystąpił do działań po stronie Ligi Dobra Publicznego, rozpoczynając swój wieloletni konflikt z Ludwikiem XI.