Kartuzi cierpieli początkowo niedostatek w tym tak bardzo oddalonym od ludzkich osiedli miejscu. Ich byt polepszył się na przełomie XIV i XV w., kiedy zyskali mecenasów spośród szlachty z przyległych ziem. Ich zbożny żywot trwał aż do 1433 r., kiedy to na Spisz wtargnęli husyci, którzy obrabowali i podpalili kartuzję. Mnisi przenieśli się wtedy do Lewoczy, gdzie wybudowali w centrum własny dom. Jednak miejskie warunki nie odpowiadały ich trybowi życia i w 1450 r. powrócili na Skałę, gdzie podjęli odbudowę klasztoru. Ten po odnowieniu znów został ograbiony w 1454 r. przez bratrzyków, którzy usadowili się po drugiej stronie Hornadu, w gródku na pobliskiej Zielonej Górze (słow. Zelená hora).
W roku 1543 klasztor padł ofiarą najazdu głośnego raubrittera, Macieja Bašo z zamku Murań, który chciał ulokować tu swe rozbójnicze gniazdo. W tej sytuacji, na prośbę okolicznej szlachty, która obawiała się, by zabudowania klasztorne nie stały się kolejną siedzibą rycerzy-rozbójników, władze kościelne ze Spiskiej Kapituły postanowiły klasztor zburzyć. Dokonano tego na początku lipca 1543 r., a 19 lipca tegoż roku zakonnicy przenieśli się do Czerwonego Klasztoru nad Dunajcem, gdzie od 1319 r. również mieli swoją siedzibę. Z pozostawionych resztek zabudowań niewiele do dzisiaj pozostało.