Od początku istnienia Zameczku zdecydowano, że nigdy nie będzie na sprzedaż i że ma być dobrem wspólnym społeczności lokalnej. Dokładnej daty uroczystego otwarcia, na którym zebrało się dużo mieszkańców miasta nie znamy, według kronik miało ono miejsce od 20 lub 23 maja. Budynek traktowano jako wspólny do 2008 roku, gdy burmistrz Konrad Rowiński zaproponował przekazanie budynku Starostwu Powiatowemu (od 1992 roku funkcjonuje tam Szkoła Muzyczna, jednak jako użytkownik).
W XIX wieku budynek traktowano też jako gospodę strzelców.
W 1862 roku burmistrz miasta zlecił wykonanie koncepcji przebudowy Domu Górskiego, gdyż budynek niezbyt się wyróżniał.
Podziemia Kamiennej Góry
Podczas II wojny światowej pod Kamienną Górą wybudowano schron przeciwlotniczy oraz, prawdopodobnie, szpital polowy. Jego istnienie odkryto w 2011 roku. Łączną długość wydrążonych chodników ocenia się na 1000 metrów, położone są 20 do 30 m pod ziemią. 10 marca 2018 roku grupa eksploracyjna dokonała kilka odwiertów, które potwierdziły istnienie podziemnych korytarzy. Są one częściowo zalane.
U podnóża Kamiennej Góry znajduje się cmentarz żołnierzy polskich i radzieckich, którzy polegli podczas walk o wyzwolenie miasta w 1945 roku.