I tak wyglądało to aż do I rozbioru Polski. Wtedy południowa część województwa krakowskiego (w tym Żywiecczyzna), skrawek sandomierskiego i większość ruskiego trafiły do Monarchii Habsburgów. Potem jako część prowincji Austrii i Austro-Węgier, zwanej Galicją. Żywiecczyzna w większości była jednym powiatem. Już w Austro-Węgrzech wydzielono Białą – razem z Oświęcimiem – jako powiat bialski, który utrzymał się długo, bo do II RP i potem, zniesiony przez władze hitlerowskie. Powiat żywiecki czasowo zmieniał granice, raz tracąc, raz zyskując w swoich granicach Suchą Beskidzką (którą przyłączano do powiatu makowskiego). Zarazem po odzyskaniu przez Polskę niepodległości aż do niemiecko-sowieckiej agresji na Polskę (1918 – 1939) Żywiecczyzna była częścią województwa krakowskiego.
W czasach galicyjskich i międzywojnia rozwinęła się bardzo mocno – powstał browar w Żywcu, pałac Habsburski, rozwijały się wsie powiatu, a także Biała, która przerosła Oświęcim i Żywiec.
Spokojny rozwój zakłóciła II wojna światowa.