Jako praprapraprawnuk Izabeli Habsburg, córki Joanny Szalonej: poprzez Krystynę, Renatę, Marię Annę Bawarską, Ferdynanda III i Mariannę Habsburg
Karol był upośledzony umysłowo i zdeformowany fizycznie. Charakterystyczna habsburska warga przybrała u niego niespotykane rozmiary. Miał tak powiększoną żuchwę i obwisłą dolną wargę, że nie był w stanie żuć potraw ani wyraźnie mówić. Schorzenie powodowało również, że miał półotwarte usta i cały czas się ślinił. Współcześni naukowcy sugerują, iż hiszpański władca mógł cierpieć na akromegalię, chorobę spowodowaną przez nadmierne wydzielanie hormonu wzrostu. Król stracił zęby i wyłysiał przed 35 rokiem życia. Dwa lata przed śmiercią ogłuchł.
W hiszpańskiej historiografii Karol zyskał przydomek El Hechizado, czyli „Zaklęty”. Według ludowych wyobrażeń, którym sam król dawał wiarę, jego upośledzenie było spowodowane rzuconymi nań czarami. Aby uzdrowić króla, uciekano się nawet do egzorcyzmów, które w Eskurialu odprawiali niemieccy kapucyni. Karol zdawał sobie doskonale sprawę ze swego upośledzenia, był nieszczęśliwy.