Od późnego średniowiecza Hohenwerfen wykorzystywano także jako więzienie. Przetrzymywano tam przede wszystkim przeciwników politycznych arcybiskupów, przedstawicieli szlachty i duchownych.
Jednym z osadzonych był arcybiskup Wolf Dietrich von Raitenau, który po konflikcie z Bawarią i swoim następcą został uwięziony najpierw w Hohenwerfen, a następnie w Hohensalzburgu.
W XVII i XVIII wieku funkcja więzienna należała do najważniejszych sposobów użytkowania twierdzy.
Sekularyzacja i restauracja
Po sekularyzacji księstwa arcybiskupiego w 1803 roku Hohenwerfen utracił znaczenie militarne i administracyjne. W okresie władzy bawarskiej wyprzedano część wyposażenia, a niektóre budynki zaczęły popadać w ruinę.
W latach 1824–1833 zamek odrestaurowano z inicjatywy arcyksięcia Jana Habsburga. Prace były związane z romantycznym zainteresowaniem architekturą średniowieczną i pozwoliły zabezpieczyć znaczną część założenia.
Po restauracji obiekt wykorzystywano przede wszystkim jako rezydencję i zamek myśliwski.
Arcyksiążę Eugeniusz i pożar
W 1898 roku Hohenwerfen kupił arcyksiążę Eugeniusz Ferdynand Habsburg, który urządził w nim rezydencję oraz kolekcję sztuki, broni i pamiątek historycznych. Z jego inicjatywy przeprowadzono dalsze prace restauracyjne.