W 1547, z powodu udziału w buncie przeciwko królowi Ferdynandowi I, zamek został skonfiskowany i przeszedł w ręce Jana z Oprštorfu, który jednak nie zamieszkiwał w nim, co przyczyniło się do jego stopniowego upadku. W 1565 zamek został po raz pierwszy opisany jako pusty.
Architektura Zamek Frýdštejn zbudowano na naturalnej skalnej formacji, wznoszącej się nad doliną rzeki Izery. Jego obronę zapewniały strome, skaliste zbocza, a najłatwiejszy dostęp prowadził od strony północnej. Początkowo zamek składał się z cylindrycznej wieży bergfrytowej o średnicy 9 metrów i wysokości ponad 15 metrów, drewnianego budynku mieszkalnego oraz masywnego wału ziemnego i drewnianej palisady. Wejście do zamku wiodło po schodach wykutych w szczelinie skalnej, a kontrolę nad bramą zapewniała wieża, dostępna za pomocą drabiny.
W kolejnych fazach rozbudowy zamek został otoczony kamiennymi murami obronnymi, a na terenie zamku górnego wydzielono niewielki dziedziniec. W południowej części zamku wzniesiono piętrowy budynek mieszkalny, a w skale wykuto pomieszczenia gospodarcze, w tym stajnię. W ostatniej fazie rozbudowy powiększono dolne podzamcze, otoczono je murem obronnym i zlokalizowano tam zabudowę gospodarczą.