W 1414 r. zamek, który utracił już rolę strażnicy strzegącej szlaku przesuniętego teraz ku osi doliny, przeszedł spod władzy królewskiej w ręce Pongráca z Liptowskiego Mikułasza, a następnie – polskiego rycerza Piotra Komorowskiego, władającego wówczas z ramienia węgierskiego króla całą Orawą. Wielokrotnie zmieniając właścicieli, w 1540 r. dostał się Révay’om, ówczesnym dziedzicznym żupanom turczańskim, którzy w drugiej połowie XVI i na początku XVII w. wybudowali dolną część zamku z licznymi budowlami mieszkalnymi i gospodarczymi oraz dwoma półotwartymi basztami. Nie podniosło to jednak walorów obronnych warowni: najpierw zajęły ją oddziały powstańców Stefana Bocskaya (1604), a następnie wojska Gabriela Bethlena (1619). W końcu lat 70. XVII w. zamek zajęli kurucowie Emeryka Thököly’ego. Podczas ich władania zamkiem wybuchł na nim wielki pożar, który zniszczył znaczną część zabudowań. Na początku następnego stulecia zamek zajęli powstańcy Franciszka Rakoczego. Revayowie odzyskali go dopiero w 1708 r., po przegranej powstańców w bitwie przy Trenczynie. Dzięki temu, że nie przyłączyli się oni do powstania Rakoczego, ich zamek nie znalazł się na cesarskiej liście twierdz, przeznaczonych do zburzenia. W 1744 r. zamek jeszcze odnawiano, lecz jego znaczenie obronne zupełnie upadło i od 1790 r. nie był już zamieszkany.