Na początku XV wieku zamek przeszedł w ręce rodu Vartemberków. Podczas wojen husyckich, w 1424, zamek został zdobyty przez husytów pod dowództwem Jana Žižki, a następnie przekazany w ręce pana z Valečova. W 1427 na zamku więziony był kandydat do tronu czeskiego, Zygmunt Korybutowicz. W kolejnych latach zamek był areną walk i zmieniał właścicieli, a w 1440 został zajęty przez bandy rabusiów, którzy terroryzowali okolicę. Zamek został odzyskany przez wojska ziemskie, a rabusie straceni. W XVI wieku budowla popadła w ruinę, a w XVIII wieku stała się miejscem pobytu pustelników. W 1772 na terenie zamku wzniesiono barokową kaplicę św. Jana Nepomucena. W 1821 ruiny zakupił Jan Lexa z Aehrenthalu, który przeprowadził częściową renowację zamku w duchu romantyzmu XIX-wiecznego, dodając elementy neogotyckie i tworząc miejsce atrakcyjne dla turystów.
Architektura Zamek Valdštejn został wzniesiony na długim grzbiecie skalnym, składającym się z trzech głównych bloków piaskowca, osiągających wysokość do 90 metrów. Podział ten nadał zamkowi naturalną obronność, a poszczególne części były oddzielone rowami i szczelinami skalnymi. Zamek górny, położony w najwyższej, wschodniej części, był dostępny po przekroczeniu dwóch przedzamczy.