Bezpośrednia suwerenność Rzeszy dotyczyła tylko Alzacji-Lotaryngii. Wszystkie państwa posiadały dotychczasowe organy władzy: władców, rządy, sejmy, administrację, sądownictwo i szkolnictwo. Polityka zagraniczna i sprawy wojskowe, z pewnymi ograniczeniami, były w kompetencjach Rzeszy. Mimo oporów z biegiem lat powiększał się zakres kompetencji Rzeszy. Ustawy uchwalane przez parlament były zawsze nadrzędne nad ustawami sejmów krajów związkowych. Większe państwa południowe, jak Bawaria i Wirtembergia zachowały zarządy kolei i poczty. W czasie pokoju wojska lądowe poszczególnych państw (w ramach armii Rzeszy) podlegały własnym władcom, a w czasie wojny podlegały wyłącznie cesarzowi. Sztab generalny i marynarka wojenna były wspólne dla Rzeszy.
Na czele Rzeszy stał cesarz, który miał szeroki zakres władzy, przede wszystkim w polityce zagranicznej i wojskowości. Do jego najważniejszych prerogatyw należało mianowanie kanclerza, za pośrednictwem którego sprawował rządy na szczeblu ogólnopaństwowym. Pierwszym cesarzem został Wilhelm I Hohenzollern, król pruski. Kanclerz był jednocześnie premierem rządu Prus.