Piotr Komorowski, pierwszy właściciel państwa, wkrótce zmienił orientację polityczną i poparł króla Węgier, Macieja Korwina, który sprzymierzył się z zakonem krzyżackim przeciw Polsce. W 1477 r. Kazimierz Jagiellończyk podjął przeciwko Komorowskim akcję zbrojną zakończoną m.in. zniszczeniem zamku w Żywcu. Udało im się jednak uzyskać królewskie przebaczenie i mogli dalej panować na Żywiecczyźnie. W 1512 r. Zygmunt I Stary uwolnił miasto od czopowego, a w 1518 r. nadał mu przywileje organizowania dwóch jarmarków na święto trzech króli oraz na św. Wawrzyńca.
W 1447 r. w miejscowości miał miejsce pożar, a drewniana zabudowa została w znacznej części spalona wraz z drewnianym kościołem. W latach 1515–1542 zbudowano w mieście murowany kościół parafialny w Żywcu, którego uposażenie ze środków Jana Komorowskiego zatwierdził w 1550 król polski Zygmunt August. W 1542 roku w mieście powstał także pierwszy szpital zorganizowany w domu darowanym miastu na ten cel przez mieszczanina Marcina Halamę, który finansowali później z własnych środków Jan Spytek oraz Wawrzyniec Komorowski. W 1537 Komorowscy nadali miastu prawo wyrabiania słodu na piwo oraz wódkę wraz z prawem wyszynku, a w 1548 powstał pierwszy miejski browar.