Po rozkwicie miasta, na początku XVI wieku, eksploatacja złóż zaczęła być nieopłacalna, w związku z czym po wojnie trzydziestoletniej zaniechano jej, a samo miasto podupadło. Próby reaktywacji wydobywania srebra podejmowano m.in. w latach 1754, 1812 i 1866, ale nie okazały się one opłacalne.
W rezultacie porażki Austrii w pierwszej wojnie śląskiej, miasteczko, razem z większością Śląska, weszło w skład Prus, a pobliska przełęcz zyskała pierwszorzędne znaczenie strategiczne dla obrony prowincji przed ewentualnym rewanżem austriackim. W 1765 r. rozpoczęto budowę górskiej twierdzy z koszarami, ukończoną w 1778. Polskojęzyczny dokument z 1750 wymienia miejscowość pod nazwą Sylberberga. Również Słownik geograficzny Królestwa Polskiego, podaje jedynie nazwę Silberberg, bez słowiańskiego odpowiednika, za to z nazwą łacińską Argyrium. Polską nazwę Srebrna Góra w książce Krótki rys jeografii Szląska dla nauki początkowej wydanej w Głogówku w 1847, wymienił, górnośląski ksiądz, nauczyciel i pisarz, Józef Lompa. W 1807 r. wojska napoleońskie oblegały twierdzę srebrnogórską, w wyniku ostrzału przez ciężką artylerię zabudowa miasta spłonęła.