Pierwsza małżonka jego ojca – portugalska infantka – Maria Manuela powiła wprawdzie syna (i kilka dni później zmarła), ale Don Carlos zaczął zdradzać oznaki szaleństwa i umysłowego upośledzenia, dlatego Filip II w końcu pozbawił go następstwa i uwięził, choć był on wówczas jego jedynym synem. Don Carlos zmarł wkrótce w odosobnieniu, w wieku 23 lat (1568).
Bezdzietne okazało się następne małżeństwo Filipa II – zawarty wyłącznie dla konkretnych korzyści politycznych mariaż z królową Anglii Marią Tudor. Trzecia z kolei żona, francuska księżniczka Elżbieta de Valois, poroniwszy przy pierwszej ciąży z bliźniaczkami, powiła dwie córki. Starsza, Izabela Klara Eugenia, była później żoną arcyksięcia Albrechta i namiestniczką Niderlandów, młodszą Katarzynę Michalinę wydano za Karola Emanuela, księcia Sabaudii. Obie córki król darzył szczerym uczuciem żadna z nich jednak nie mogła przejąć po ojcu schedy. Po śmierci Elżbiety, wynikłej z komplikacji przy kolejnej ciąży, król ożenił się zatem po raz czwarty, z Anną, córką cesarza Maksymiliana II, a przy okazji swoją siostrzenicą. Bliskie pokrewieństwo między małżonkami nie wróżyło dobrze przyszłości dynastii.