W II połowie XIX wieku zaczęto dostrzegać korzyści płynące z turystyki i rekreacji. Władze pruskie nakazały zaprzestać niszczenia twierdzy i uczynić z niej atrakcję dla przyjezdnych. Na początku XX wieku dojazd do znajdującej się między fortami Przełęczy Srebrnej umożliwiła zębata Kolej Sowiogórska. Po I wojnie światowej główny fort odremontowano i urządzono w jego wnętrzu restaurację „Donjon”.

Dynamiczny rozwój srebrnogórskiej turystyki przerwała II wojna światowa. W fortach Ostróg (Spitzberg) i Wysoka Skała (Hohenstein) utworzono karny obóz jeniecki, Oflag VIII B (15 grudnia 1939 – 1 września 1941) dla polskich oficerów. Więziono tu łącznie ponad 300 osób, w tym m.in. dowódcę Obrony Wybrzeża z 1939 roku – kontradmirała Józefa Unruga oraz komandora Stefana Frankowskiego. Do historii przeszła śmiała ucieczka w nocy z 5 na 6 maja 1940 r. z Oflagu VIII B dziewięciu polskich oficerów (m.in. Tadeusza Jasickiego, Michała Niczki, Jędrzeja Giertycha). Trzech z nich zdołało przedostać się do Nysy. Stamtąd przez Czechy, Słowację, Węgry, Jugosławię i Turcję dotarli do Syrii, gdzie formowała się Brygada Strzelców Karpackich (walczyli w Libii pod Tobrukiem).