W 1440 roku został zdobyty przez taborytę . W latach 1444–1454 zamek należał do husyckiego dowódcy Hynka Krušiny IV z Lichtenburka i dopiero po jego śmierci zamek wrócił do prawowitego właściciela, którym był Jerzy z Podebradów (od 1458 roku król). Po śmierci króla doszło do podziału jego majątków i zamek wraz z okolicznymi dobrami otrzymał jego syn Henryk I Starszy z Podiebradów. W 1470 roku jako burgrabia zamku jest wzmiankowany Wacław (Wenzel) Holub z Provuzy.
Do 1477 r. zamek kilkukrotnie zmieniał właścicieli, drogą sprzedaży bądź dziedziczenia, by w końcu zostać odsprzedanym Hildebrandowi von Kauffungowi z Łużyc i odłączonym od ziem Korony Czeskiej. Zamek stał się tym samym stolicą niewielkiej domeny (tzw. „państewka homolskiego”) obejmującej Duszniki-Zdrój, Lewin Kłodzki i 21 okolicznych wsi.
Potomkowie Kauffunga stali się z czasem rycerzami-rabusiami, co spowodowało, że ich suwerenność przestała być tolerowana: w 1534 r. wojska cesarskie zdobyły zamek, który następnie skonfiskowano, a ostatniego właściciela stracono w Wiedniu. W 1536 roku narysował go podczas podróży z palatynem Ottheinrichem do Krakowa (jako Lewinski Zamek – Burg Hummel na weducie Náchodu). Od 1560 r. zamek stał opuszczony, powoli popadając w ruinę.