jego ojciec był jednocześnie wujem swojej drugiej żony, matki Karola. Drugą małżonką Filipa była jego siostrzenica, Marianna Habsburg (lub Maria Anna, 23 grudnia 1634 – 16 maja 1696), córka cesarza Ferdynanda III Habsburga i Marii Anny, córki króla Hiszpanii Filipa III. Związek został zawarty 8 listopada 1649 r. w Madrycie i jest dzisiaj oceniany jako reakcja na śmierć jedynego syna i następcy tronu – Baltazara Karola (zmarł on krótko po umowie z cesarzem Ferdynandem, w której ustanowiono jego małżeństwo z Marianną). W tym czasie 42-letni Filip postanowił sam obrać narzeczoną zmarłego syna jako przyszłą żonę. Marianna przybyła do Madrytu jesienią 1649, w wieku 15 lat. Filip i Marianna mieli razem trzech synów i dwie córki: Małgorzata Teresa (ur. 12 lipca 1651, zm. 12 marca 1673), żona cesarza Leopolda I Habsburga, Maria Ambrozja (ur. 7 grudnia 1655, zm. 20 grudnia 1655), Filip Prospero (ur. 28 listopada 1657, zm. 1 listopada 1661), książę Asturii, Tomasz Karol (ur. 23 grudnia 1658, zm. 22 października 1659),