Rodzina Pierwszą żoną Alfonsa IV była Teresa de Entanza, córka Gombaldo, barona de Entanza, poślubiona 10 listopada 1314. Teresa po swym wuju Armengol X dziedziczyła prawa do hrabstwa Urgell (zob. Alt Urgell), dzięki czemu Alfons IV przejął władzę w tym hrabstwie po śmierci Teresy (1327).
Drugą żoną Alfonsa IV była Eleonora Kastylijska, córka Ferdynanda IV - króla Kastylii i Konstancji Portugalskiej. Pierwszym mężem Eleonory był Jakub, starszy brat Alfonsa IV, jednak jeszcze w dniu ślubu (18 października 1319) Jakub opuścił swoją żonę i zrezygnował z praw do tronu. Małżeństwo Eleonory i Jakuba, nigdy nie skonsumowane, zostało anulowane, a Jakub został rycerzem zakonu joannitów. Pradziadkiem po kądzieli Eleonory był król Aragonii - Piotr III Wielki, będący zarazem dziadkiem Alfonsa IV, więc z uwagi na bliskie pokrewieństwo przyszłych małżonków do zawarcia ślubu była potrzebna papieska dyspensa. Ślub odbył się 5 lutego 1329. Zawarcie tego małżeństwa było potwierdzeniem sojuszu między Aragonią a Kastylią zawartego przeciwko muzułmańskim władcom Grenady, zmierzającego do kolejnej wyprawy przeciwko Grenadzie.