Ostateczna rozbiórka zachowanych murów o wysokości 12 m nastąpiła w 1842.
W miejscu zamku wybudował się dom nazywany w tamtych czasach Zameczkiem Mechsnerów (niem. Schlössla Mechsner). Mieszkał w nim górnik Richard Mechsner wraz z rodziną. W latach 30 XX wieku na ogródku rodziny obok domu zapadła się ziemia. Po zbadaniu zapadliska stwierdzono obecność podziemnego tunelu biegnącego w kierunku miasta.
Zamek na przestrzeni ostatniego stulecia stał się przedmiotem lokalnych legendBogusław Romaszewski, Legendy i opowieści Ziemi Ząbkowickiej, tom II – Ruiny zamku w Złotym Stoku.. Przy ulicy Wolności 10 natrafiono na resztki kamiennych piwnic, które mogły należeć do zamku.
Architektura Na rycinach miasta Friedricha Bernharda Wernera zamieszczonych w „Topografii Śląska” i „Albumie widoków miast śląskich” z połowy XVIII wieku zamek miał być otoczony niewielkim ogrodem i posiadać 4 ozdobne baszty, 3 kondygnacje i czterospadowy dach. W jednym z rysunków Wernher prawdopodobnie zdecydował się na uproszczenie, które polegało na pominięciu baszt w rysunku zamku.