Na próżno, gdyż ostatecznie w wewnętrznym kręgu Infanta uformowała się grupa opozycyjna, w skład której wchodzili admirał Kastylii, książę Medina de Rioseco i Antonio de Moscoso, obaj bliscy Karolowi. Grupa ta przyczyniła się do upadku Olivaresa, choć nie bezpośrednio poprzez Karola. Niemniej jednak zawsze wykazywał on niewielkie zainteresowanie sprawami politycznymi.
Jego wola była pod wpływem i manipulowana przez kilka postaci na dworze, takich jak Don Antonio de Moscoso, któremu udało się zdobyć jego zaufanie. Don Antonio, dążąc do zwiększenia swojej osobistej władzy i uzyskania większych wpływów, manipulował Infantem i nakłonił go do poparcia własnych interesów, a nawet faworyzując ambicje hrabiego - księcia Olivares, który pożądał kontroli nad dworem i decyzji dotyczących sukcesji. Ponadto inne postacie, takie jak Admirał, bliski przyjaciel Don Antonia, również były częścią tej sieci wpływów. W międzyczasie Infant, mimo że teoretycznie znajdował się w pozycji władzy, został uwikłany w machinacje dworzan wokół niego, będąc wykorzystywanym jako pionek w ich walkach o kontrolę polityczną.
Ta dynamika manipulacji i zależności spowodowała, że Karol nie był w stanie samodzielnie podejmować decyzji i stał się narzędziem interesów innych na dworze hiszpańskim.