W 1624 zamek wraz z całym państwem żywieckim przejęła królowa Konstancja. W pierwszej połowie XVII w. przeprowadzono renowację zrujnowanej przez najazd Rylskich budowli, a także m.in. dobudowano trzecią kondygnację. W 1655 właścicielem został Jan Kazimierz. Rok później twierdzę zdobyli Szwedzi. Została poddana, w związku z czym nie zanotowano wówczas większych zniszczeń. W 1664 sporządzono szczegółowy inwentarz budynku. W 1666 lub 1669 na zamku przebywał Jan Kazimierz.
Od 1671 do 1675 dobra żywieckie wraz z zamkiem znajdowały się w posiadaniu Wawrzyńca Wodzickiego, a w 1678 zostały wykupione przez rodzinę Wielopolskich.Z początkiem XVIII wieku Wielopolscy znacznie rozbudowali kompleks zamkowy, m.in. dobudowując stajnie, zakładając park włoski, herbarium, stawiając wagę do soli, murując piwnice czy instalując fontannę. Wzniesiono nowe skrzydło zamku wraz z dwoma ryzalitami. Skorygowano układ i bryłę założenia, poszerzając dziedziniec, przebudowując arkady, wyburzając attykę i zmieniając dachy pogrążone na siodłowe. Przebudowa Wielopolskich jest poświadczona bardzo szczegółowo w zapiskach Dziejopisu Żywieckiego pióra Andrzeja Komonieckiego.