W wyniku tego za życia Ludwika wybrano Karola IV na antykróla, którego koronacja odbyła się w bońskiej katedrze.
Cesarz zmarł w 1347 roku. Synowie Ludwika wspierali w walce o koronę Günthera ze Schwarzburga, rywala Karola IV, lecz po jego wczesnej śmierci w 1349 roku dominacja Luksemburgów w Niemczech została uznana przez Wittelsbachów.
Małżeństwa i potomstwo Pierwszą żoną Ludwika IV w 1309 r. została Beatrycze, córka Bolka I Surowego, księcia świdnickiego. Ich dziećmi byli: Matylda (po 21 czerwca 1313 – 2 lipca 1346, w Miśni), poślubiła dnia 1 lipca 1329 w Norymberdze Fryderyka II Poważnego, margrabiego Miśni (zm. 1349) nieznane (ur. wrzesień 1314) Anna (ok. 1316 – 29 stycznia 1319 w Kastl) Ludwik V (1316–1361), książę Górnej Bawarii, margrabia brandenburski, książę Tyrolu Agnieszka (ur. ok. 1318) Stefan II (1319–1375), książę Dolnej Bawarii.
Drugą żoną w 1324 r. została Małgorzata II z Hainaut, córka Wilhelma I Dobrego, hrabiego Hainaut i Joanny Walezjuszki, siostry Filipa VI.