Długi doprowadziły króla na skraj bankructwa i w połączeniu z niechęcią do sprawowania rządów sprawiły, że w 1886 odebrano mu władzę. Rozpowszechniona opinia, jakoby Ludwik Bawarski budową pałaców zrujnował budżet kraju, jest jednak nieprawdziwa. Rozliczne prace budowlane ożywiły nawet bawarską gospodarkę. O ile było to tylko możliwe, zlecenia otrzymywały przedsiębiorstwa z królestwa Bawarii. Monachium stało się jednym z najważniejszych centrów rzemiosła artystycznego w niemieckim obszarze językowym.
Udostępnienie zamku publiczności thumb|Poglądowa mapka wyspy z zaznaczonym starym i nowym pałacem
Ludwik Bawarski nie chciał udostępniać Herrenchiemsee, podobnie jak innych swoich pałaców publiczności i życzył sobie, by po jego śmierci zniszczono je. Zarządcy majątku królewskiego zdecydowali jednak inaczej i już kilka tygodni po śmierci króla, w sierpniu 1886 można było je zwiedzać. Pałac Herrenchiemsee, będący królewską rezydencją tylko przez kilka dni, nie odegrał zauważalnej roli w historii Bawarii i niemal od ukończenia służy jako muzeum. Po zmianie ustroju Niemiec pałac przekazano w 1918 tzw. Verwaltung des ehemaligen Kronguts (Zarząd dawnych dóbr królewskich), z którego wywodzi się powstałe w 1932 Bayerische Schlösserverwaltung (Administracja bawarskich zamków i pałaców).