Karol nie miał chwilowo czasu na rozprawę z oponentami. W sierpniu 1248 wyruszył, razem z bratem, na wyprawę krzyżową. Przed odjazdem porozumiał się z teściową, której odstąpił Forcalquier oraz 1/3 dochodów prowansalskich. Jego wyjazd zaktywizował opozycję. Karol dzielnie stawał podczas zdobywania Damietty i bitwy pod Al-Mansurą. Kiedy jednak Ludwik IX ogłosił, że każdy kto zechce może powrócić do kraju, Karol skwapliwie skorzystał z okazji i już w październiku 1250 przybył do Aigues-Mortes.
Wykorzystując przewagę wojskową i działania dyplomatyczne, eliminował przeciwników jednego po drugim. W kwietniu 1251 poddało się Arles, w maju Awinion, w czerwcu skapitulował Barral z Les Baux. W sierpniu Karol zaatakował Marsylię, ale został odparty. Rozpoczął więc oblężenie miasta, które skapitulowało w czerwcu 1252. Karol łagodnie obszedł się z pokonanymi. Potwierdził ich dawne prawa i przywileje. Marsylia zachowała swój ustrój komunalny, ale musiała uznać Karola za swojego suwerena.