Według tradycji warownię wzniósł w 1207 r. piastowski książę Henryk Brodaty dla obrony granicy od strony Czech. Burgrabiami lub wójtami zamku mieli być ówcześnie Talkenbergowie. W momencie inkorporacji księstwa świdnicko-jaworskiego do Korony czeskiej w 1368 r., mieli oni wejść w posiadanie zamku przez zasiedzenie. Inna wersja podaje, że Talkenbergowie zbudowali zamek w XIV w. i przenieśli się do niego z pobliskiej warowni w Gradówku (Pirszyn). Właściciele zamku Podskale odgrywali ważną rolę w latach 1468-1478 jako przeciwnicy Wrocławia i Macieja Korwina. Z tej racji podejmowali walkę partyzancką, polegającą m.in. na atakach na kupców wrocławskich. Warownia miała być zniszczona jako siedziba rycerza rabusia Bernarda Talkenberga w 1476 r. Dokonać tego miała, przy użyciu broni palnej (podminowanie) koalicja wojsk, w których skład wchodziły oddziały Macieja Korwina pod wodzą Jerzego Steina, mieszczanie Lwówka i związek sześciu miast łużyckich, dopomogli w tym górnicy z Kowar, którzy wydrążyli podkop. Według innej wersji zamek miał być oblężony i zdobyty w 1478 r. przez Jana Zelenego w trakcie karnej ekspedycji wojsk węgierskich przeciwko zbuntowanym zamkom na południu Śląska. W 1479 r. Maciej Korwin obdarował miasto Lwówek wsią Rząsiny i ruinami zamku.