Hrabia Prowansji i Andegawenii alt=|lewo|mały|Herb Karola jako hrabiego Andegawenii Rodzina nie okazywała Karolowi zbyt wielu uczuć, ale zadbała o jego status materialny. W swoim testamencie król Ludwik VIII zapisał swojemu nienarodzonemu jeszcze dziecku (pod warunkiem, że będzie to syn) hrabstwa Maine i Andegawenię. Karol objął je w posiadanie w 1247 roku, gdy ukończył 20 lat. Rok wcześniej rodzina ożeniła go z piękną Beatrycze Prowansalską, najmłodszą z czterech córek hrabiego Rajmunda Berengara IV. Dzięki temu małżeństwu Karol został hrabią Prowansji i Forcalquier, gdyż jego teść przekazał wszystkie swoje posiadłości Beatrycze, odpowiednio wyposażając starsze córki. Sumy posagowe nie zostały im jednak wypłacone w całości, co spowodowało, że szwagierki (a zwłaszcza najstarsza, królowa Małgorzata) znalazły się w konflikcie z Karolem. Nowy hrabia znalazł wkrótce kolejnego wroga, swoją teściową Beatrycze Sabaudzką, z którą pokłócił się o wdowie dożywocie.