Upadek i odbudowa W 1253 r. miała miejsce ostatnia wizyta niemieckiego króla w palatium – Wilhelma Holenderskiego. Wkrótce potem dwór zaczął podupadać. W 1289 pożar zniszczył wiele zabudowań, zburzono też młodsze budynki mieszkalne. W 1290 palatium przeszło w posiadanie miasta Goslar. Górna i dolna sala domu cesarskiego służyły jako pomieszczenie sądu miejskiego oraz sądu kraju Saksonii. Często jednak sale te były wykorzystywane jako składy i magazyny, np. w poł. XVI w. sale domu cesarskiego oraz pokoje starszego budynku mieszkalnego służyły jako spichlerz zboża.
Kaplica św. Ulryka była wykorzystywana od 1575 jako więzienie. Wieże kościoła NMP zawaliły się w 1672, a pozostała część budowli w 1722. Pozostałe rumowisko sprzedano jako materiał budowlany.
Mury katedry zaczęły się walić już w 1331, w 1530 przewróciła się jedna z wież. W 1802 z kościoła pozostała już jedynie ruina, którą sprzedano w 1819 za 1504 talary jako źródło materiałów budowlanych. Z katedry ostał się jedynie jej północny przedsionek.