Później zamek ten przeszedł w ręce Komorowskich herbu Korczak. Komorowscy sprzyjali królowi Węgier Maciejowi Korwinowi, który sprzymierzył się z zakonem krzyżackim przeciwko Polsce, toteż w drugiej połowie lat 70. XV wieku król Kazimierz Jagiellończyk nakazał podjęcie przeciwko nim akcji zbrojnej i opanowanie należących do nich zamków. Według Jana Długosza zadanie to wykonały wojska królewskie pod dowództwem starosty krakowskiego Jakuba z Dębna, które w 1477 roku zdobyły trzy zamki kontrolowane przez Komorowskich: zamek w Barwałdzie, poprzednio również należący do Włodka Skrzyńskiego, zamek w Szaflarach i zamek w Żywcu; Długosz pisze, że zdobyte wówczas warownie były oblegane z użyciem „ogromnych dział” i że zamek w Żywcu został spalonyJana Długosza kanonika krakowskiego Dziejów polskich ksiąg dwanaście, przeł. K. Mecherzyński, t. V, ks. 12, Kraków 1870, str. 622-623 . Współczesna literatura przedmiotu podaje na podstawie danych archeologicznych, że w trakcie akcji wojsk królewskich przeciwko Komorowskim zniszczono dwa obiekty obronne w rejonie Żywca: pierwotny zamek usytuowany na terenie miasta, w miejscu obecnego Starego Zamku w Żywcu, i zamek na wzgórzu GrojecJ. Marszałek, Katalog grodzisk i zamczysk w Karpatach, Wydawnictwo Stanisław Kryciński, Warszawa 1993, s. 264-266. Badania archeologiczne na Grojcu podjęli w 1937 r.