W 1900 r. miasteczko uzyskało dostęp do Kolei Sowiogórskiej, a w 1908 do Ząbkowickiej Kolei Powiatowej. 1 maja 1933 w Srebrnej Górze miał miejsce Dzień Lotnictwa (). Wśród innych asów wystartowała tam Hanna Reitsch, młoda rekordzistka sportów szybowcowych, później oblatywaczka nowych samolotów, a także szybownicy z Lądka-Zdroju. Przed 1945 było zamieszkane w dużej części przez emerytów, nie było tu żadnego zakładu przemysłowego, ani rzemiosła.
W 1945 r. miejscowość została włączona do Polski. Początkowo nazwano ją Srebrnogóra, potem ustalono nazwę Srebrna Góra, co było tłumaczeniem dotychczasowej nazwy niemieckiej. Nowa administracja zakwalifikowała niewielkie miasteczko do rzędu wsi, przez pewien czas miejscowość była opuszczona. Odebrane zostały jej również prawa miejskie.
W listopadzie 2015, odkryto wejście do nieczynnej sztolni dawnej kopalni srebra. Planowane jest jej udostępnienie dla zwiedzających.
Zabytki Do wojewódzkiego rejestru zabytków wpisane są: Układ urbanistyczny Starego Miasta Kościół parafialny pw. śś. Piotra i Pawła, z lat 1729–1731, 1808 Dawna plebania, ul.