W 1649 po raz kolejny wybuchła zaraza, która przyniosła śmierć 28 mieszkańcom. W 1675 zakończyła swoją działalność książęca komisja hutnicza, co oznaczało jeszcze większy upadek miasta. W 1683 kościół katolicki św. Trójcy stał się kaplicą cmentarną. W 1711 z powodu zwiększającej się liczby katolików i zmniejszającej się produkcji złota urząd górniczy stał się kościołem katolickim. W tym samym roku dobudowano do niego wieże. W 1722 odbudowano zamek zniszczony jeszcze podczas wojny trzydziestoletniej. Mieszkał w nim starosta górniczy. Dzierżawca wapienników Siegmund Kahler w 1731 wzniósł Kaplicę Świętej Anny na Górze Krzyżowej, wkrótce przy drodze do niej ustawiono stacje drogi krzyżowej. W 1740 wyremontowano szubienice. W tym samym czasie stracono na niej złodzieja Christopha Griegera.
W czasie rządów Prus W czasie wojen prusko-austriackich o Śląsk podupadło górnictwo. Wstrzymano roboty górnicze w jedynym pracującym w Złotym Stoku gwarectwie Jagwitza. W 1749 szkoła ewangelicka została przeniesiona do kamienicy Fuggerów na rynku. W 1785 wieża kościoła ewangelickiego dostała nowym hełm. W 1799 zbudowano nowy, murowany szpital górniczy przy dzisiejszej ulicy leśnej. W 1801 wybudowano nowy ratusz. Najpierw rozebrano stary zniszczony jeszcze podczas pożaru w 1683 roku.