Drugą żoną była Elżbieta Bośniaczka, z którą miał trzy córki: Katarzynę, Marię i Jadwigę.
O ile problem ten na Węgrzech nie był tak wielki, to w Polsce zapewnienie córkom sukcesji wydawało się niemożliwe, gdyż w Polsce nie dziedziczyło się po kądzieli, zatem dynastia andegaweńska mogła tu panować tylko mając potomka płci męskiej.
W zamian za zgodę na sukcesję swoich córek do tronu polskiego w dniu 17 września 1374 Ludwik wydał dla szlachty polskiej przywilej koszycki. Na jego mocy w Polsce dziedziczyć mogła jedna z jego córek, a szlachta zwolniona została m.in. z podatku gruntowego poza 2 groszami z łana. W 1381 przywilej ten został rozszerzony również na duchowieństwo (przy poradlnym wynoszącym 4 grosze z łana).
Śmierć Ludwik zmarł w Trnawie w nocy z 10 na 11 września 1382. Pochowany został w katedrze w Székesfehérvár (Białogród Stołeczny) na Węgrzech.
Ocena panowania Na Węgrzech Ludwik otrzymał przydomek „Wielki” i uchodzi za jednego z najwybitniejszych władców tego kraju. W polityce wewnętrznej doprowadził do zrównania w prawach magnatów i szlachty węgierskiej za pomocą tzw. decretum unicum wydanego 11 grudnia 1351. Założył też uniwersytet w Peczu. W Polsce nie cieszył się nigdy zbytnią popularnością, ale doprowadził m.in.