Książę Karol był wielkim miłośnikiem i mecenasem sztuki, a zwłaszcza opery, baletu i teatru. Jego dwór w Stuttgarcie i Ludwigsburgu stał się w II połowie XVIII wieku prężnym i promieniującym na całą Europę ośrodkiem kulturyMusik und Musiker am Stuttgarter Hoftheater (1750-1918). Quellen und Studien, Herausgegeben Reiner Nägle, Wurttembergische Landesbibliothek, Stuttgart, 2000. . Zasłynął z rozrzutności i wielu kochanek, które wybierał na ogół spośród tancerek, aktorek i śpiewaczek swojego teatru. Ale też sprawnie zarządzał państwem i wspierał artystów, takich jak: kapelmistrz i kompozytor operowy Niccolò Jommelli, malarz i scenograf Giovanni Battista Innocenzo Colombo, choreograf i reformator baletu Jean-Georges Noverre, poeta i dramaturg Friedrich Schiller i wielu innychRudolf Krauß: Das Stuttgarter Hoftheater von den ältesten Zeiten bis zur Gegenwart, Verlag Metzler, Stuttgart 1908.. Założył też w Stuttgarcie słynną Hohe KarlsschuleHeinrich Wagner: Geschichte der Hohen Carls-Schule, Verlag Etlinger, Würzburg 1856..
Oblicza się, że miał ponad 70 zidentyfikowanych synów z nieprawego łoża, którym zapewniał opiekę i kariery. Nie pozostawił jednak prawowitego następcy tronu.