Kwestia sukcesji Karol był żonaty z Ryszardą Szwabską (840/845 – 18 września 894/896), córką hrabiego Erchangera ze Szwabii, członka możnego rodu Ahalolfingów. Ich ślub odbył się w 862, ale małżeństwo to pozostało bezdzietne. Karol miał syna z nieznaną z imienia konkubiną, Bernarda, którego w 885 uznał swoim dziedzicem, ale spotkał się z opozycją wielu dostojników kościelnych. Miał jednak poparcie papieża Hadriana III. Cesarz zaprosił go na zjazd panów cesarstwa do Wormacji w październiku 885, jednak papież zmarł po drodze. Hadrian chciał usunąć sprzeciwiających się cesarzowi biskupów, co otworzyłoby drogę Karolowi do uznania Bernarda swoim następcą. Wskutek śmierci papieża działania Karola nie powiodły się.
Po fiasku pierwszej próby Karol spróbował ponownie legitymizować Bernarda. Starał się również o poparcie ze strony nowego papieża, Stefana VI, z którym spotkał się na początku 886 Zjazd możnych został zaplanowany na kwiecień i maj 887 w Waiblingen. 30 kwietnia 887 papież Stefan zdecydował, że nie pojedzie na zjazd. Mimo to Karol podjął próbę uznania Bernarda swoim następcą, ale ponownie napotkał na opór możnych i zrezygnował z tego pomysłu. Kolejnym kandydatem na następcę Karola został Ludwik Ślepy, syn Bosona Prowansalskiego. W maju 887 w Kirchen Karol adoptował Ludwika.