Został pochowany w katedrze w Akwizgranie.
Państwo stworzone przez Karola Wielkiego nie przetrwało próby czasu, gdyż nie miało – poza osobą władcy i religią chrześcijańską – wspólnej więzi. Utrzymywało się po śmierci Karola jeszcze prawie 30 lat pod rządami najmłodszego syna Karola, Ludwika zwanego Pobożnym, który objął tron w 814 roku, zachowując tytuł cesarski. Jednak Ludwik nie dorównywał ojcu zdolnościami i nie radził sobie ze wzrostem nastrojów separatystycznych oraz buntami. Sytuację komplikowały dodatkowo najazdy wikingów, Arabów oraz Węgrów. Po śmierci Ludwika, która nastąpiła w 840 roku, państwo podzielił najstarszy z braci, Lotar (zob. traktat z Verdun).
Armia karolińska i utrzymanie terytoriów
Karol odziedziczył po dziadku i ojcu również świetnie wyszkolonych i wyposażonych żołnierzy. Tradycyjnie wyruszano do walki na początku wiosny (w marcu), jednak coraz większy udział kawalerii spowodował przesunięcie tego terminu do maja, kiedy można było łatwo znaleźć paszę dla koni. Dzięki wynalezieniu ostrogi i strzemienia największą siłę armii frankońskiej stanowiła ciężka konnica. Utrzymanie koni i opanowanie sztuki walki wymagało dysponowania odpowiednimi środkami. Stać na to było jedynie bogatych posiadaczy ziemskich, dlatego Karol (jak jego przodkowie) mnożył beneficja nadawane wasalom.