Po najeździe warownia przestała pojawiać się w źródłach. W historiografii przeważa pogląd mówiący, że XIV w. prawdopodobnie podupadła i zeszła do roli lokalnej strażnicy, mało przydatnej ze względu na oddalenie od głównych traktów handlowych i istnienie większego zamku Czorsztyn, który przeszedł wówczas rozbudowę. W XV w. zamek Pieniny miał zupełnie nie być już użytkowany. Według teorii Andrzeja Skorupy został zburzony w 1410 r. przez wojska Ścibora ze Ściborzyc (wysłane przez Zygmunta Luksemburskiego jako pomoc dla Krzyżaków toczących wówczas wojnę z Polską), które spustoszyły Sądecczyznę. XIX-wieczne źródło mówi z kolei, że budowlę zniszczyły w 1431 lub 1433 r. wojska husyckie. Daty te nie są jednak pewne – zamek mógł być jeszcze wykorzystywany jako baza wypadowa przez husytów lub wojska węgierskie Macieja Korwina w 1474 r. Z badań prowadzonych w latach 2020–2021 wynika, że budowla była ciągle użytkowana w XV w. Jeszcze w XVII w. miały się tu schronić przed dżumą klaryski.
Zamek w czasie swojej stosunkowo krótkiej historii raczej nie był w żaden sposób przebudowywany – badania wykazały, że mury są dość jednorodne i zostały wykonane w tym samym okresie.
Ruiny mały|Zamek wg Szczęsnego Morawskiego