Pierwsze plany pałacu nakreślił Georg von Dollmann, któremu powierzono w 1878 kierowanie budową i funkcję tę pełnił do 1884, kiedy to zastąpił go Julius Hofmann. Na wschodnim brzegu wyspy urządzono tartak parowy, a materiały budowlane transportowano specjalnie wybudowaną koleją. Podstawowym budulcem była cegła, a elewacje otynkowano albo ozdobiono kamieniem naturalnym. Część surowca pochodziła bezpośrednio z wyspy Herrenchiemsee, z dawnego kamieniołomu klasztornego. Prace budowlane nad głównym budynkiem rozpoczęły się wiosną 1878, stan surowy osiągnięto w styczniu 1879, a do 1881 zakończono prace nad zewnętrznymi fasadami i ich dekoracjami. Wykańczanie i urządzanie wnętrz trwało do 1885.

Wygląd zewnętrzny Bryła pałacu jest nieskomplikowana. Budynek liczy trzy kondygnacje i składa się z trzech czworobocznych skrzydeł, ułożonych w kształcie podkowy i okalających reprezentacyjny dziedziniec. Zwrócone na zachód, w kierunku ogrodów skrzydło liczy 23 segmenty, a boczne, północne i południowe – osiemnaście.