Karol wrócił więc do Prowansji, gdzie rządy w jego imieniu sprawowali seneszalowie, w tym Barral z Les Baux, który stał się lojalnym sługą Karola. Inni baronowie wciąż jednak wichrzyli, a Marsylia wciąż była niespokojna. Karol ponownie skłócił oponentów ze sobą, a dzięki interwencji króla Ludwika w listopadzie w 1256 uzyskał zrzeczenie się przez teściową Forcalquier. W Marsylii partia profrancuska dokonała przewrotu i objęła władzę. Kiedy w mieście pojawił się Karol podpisała z nim nowy traktat, który likwidował polityczną samodzielność miasta.
Po uspokojeniu Prowansji Karol zajął się poszerzaniem swoich włości. W 1257 nabył prawa do kilku baronii w dolnych Alpach oraz uzyskał tytuł regenta królestwa Arles. W 1258 hrabia Ventimiglii uznał Karola za swojego zwierzchnika. W 1259 Karol, przekupstwem i groźbami, uzyskał Cueno, Albę i Cherasco w południowym Piemoncie. W roku 1260 podporządkowali mu się hrabiowie z Mondovi, Cevy, Biadrate i Saluzzo.