Brytyjski historyk John Elliott twierdził, nie przedstawiając żadnych twardych dowodów, że Infante Don Carlos cierpiał na pewnego rodzaju upośledzenie umysłowe. Takie twierdzenia można zrozumieć, biorąc pod uwagę, że Carlos był przeszkodą dla faworyta swojego brata króla Filipa IV, hrabiego-księcia Gaspara Olivaresa. Nie dlatego, że stanowił bezpośrednie zagrożenie, ale ze względu na frakcje, które mogły powstać wokół niego, podsycane przez licznych wrogów króla.
Karol Habsburg przez większość życia był otoczony intrygami politycznymi ze względu na swoją pozycję w linii sukcesji tronu. Jego obecność na dworze generowała napięcia i tworzyła grupy opozycyjne, częściowo dlatego, że postrzegano go jako potencjalnego rywala dla dążących do władzy.
Z tego powodu hrabia-książę Gaspar Olivares starał się utrzymać go pod nadzorem za pośrednictwem sieci informatorów w służbie dworskiej, którzy dostarczali mu szczegółowych informacji o jego ruchach. Ponadto usiłował odizolować go od dworu, mianując go wicekrólem Portugalii, choć Karol nigdy nie objął tego stanowiska, prawdopodobnie z powodu trudności ze znalezieniem godnego zaufania ministra, który by mu towarzyszył.