Organizacja państwa Administracja w tak ogromnym państwie była niezwykle trudna. Utrzymany został funkcjonujący jeszcze za Merowingów podział na ziemie oraz powiaty, ale obok niego wprowadzono hrabstwa jako mniejsze jednostki terytorialnego zarządu, które podlegały urzędnikom mianowanym i odwoływanym przez władcę. Na kresach monarchii zorganizowano marchie, na czele których stanęli margrabiowie o szerokich kompetencjach wojskowych. Marchie te (Duńska, Friulska, Hiszpańska, Bretońska, Panońska) – były zaporą militarną blokującą ludom pogańskim i muzułmanom wstęp na ziemie państwa karolińskiego.
W celu utrzymania rozległego kraju w pokoju i bez buntów, Karol dysponował trzema środkami: hrabstwami, strukturą kościelną i siecią swych wasali. Dawnym królestwem Franków zarządzali reprezentanci króla, kierujący okręgami o mniejszej lub większej powierzchni. Po zdobyciu nowych terytoriów tworzone były takie okręgi albo powierzano arystokracji frankijskiej hrabstwa już istniejące. Czasem również Karol nie chciał niszczyć miejscowej arystokracji i pozbawiać jej kontroli nad ziemiami i poddanymi;