Już w 1913 willę zakupiły władze śląskiego Jungdeutschlandsverband (Zrzeszenia Młodych Niemiec) i zmieniły nazwę na "Villa Jungdeutschland". Pełniła ona funkcję miejsca odpoczynku dla przywódców zrzeszenia oraz obsługi i recepcji schroniska młodzieżowego, znajdującego się w forcie Ostróg. Wnętrza nadal były bogato wyposażone i możliwy był w nich nocleg.
W okresie I wojny światowej w budynku miał swą kwaterę kapitan Rittweger, z górskiego rezerwowego oddziału karabinów maszynowych (oddział przybył do Srebrnej Góry w 1915). W 1920 obiekt przejął baron Ernest Albert Adolf von Seckendorf Götz i urządził w nim zwykły dom mieszkalny (pod nazwą "Haus Hohenstein").
Nie wiadomo czy Seckendorfowie mieszkali w nim w czasie II wojny światowej - mogły go przejąć władze wojskowe, które w pobliskiej twierdzy prowadziły oflag.
Polska Ludowa Po 1945 obiekt został zaadaptowany na potrzeby leśnictwa (w tym też okresie dobudowany północny fragment obiektu, w zupełnie innym układzie architektonicznym). W 1957 przejęło go miejscowe PTTK, a w 1959 otwarło w nim schronisko. Około 1960 obok schroniska otwarto pierwszą na Dolnym Śląsku stację sejsmiczną Zakładu Geofizyki Polskiej Akademii Nauk.