W 1564 roku wraz z całym księstwem oświęcimskim i zatorskim tereny te znajdowały się w granicach Korony Królestwa Polskiego w województwie krakowskim w powiecie śląskim, dzięki czemu miejscowość ponownie została zintegrowana z Małopolską. Po unii lubelskiej w 1569 księstwo Oświęcimia i Zatora stało się częścią Rzeczypospolitej Obojga Narodów w granicach, której pozostawało do I rozbioru Polski w 1772.
Kult Matki Bożej w rychwałdzkim obrazie wzrastał z każdym rokiem. Masowo zaczęto tu pielgrzymować podczas potopu szwedzkiego w latach 1655-1657. 8 marca 1656 roku Szwedzi zajęli Żywiec, ale już następnego dnia zostali stamtąd wygnani.
Rok później na terenach tych wybuchła epidemia ciężkiej, śmiertelnej choroby. 11 czerwca 1658 roku z inicjatywy Katarzyny Grudzińskiej odbyła się pielgrzymka do Rychwałdu, w której wzięło udział ponad dwa tysiące wiernych. Procesyjna pielgrzymka dziękczynna za ocalenie od zniszczeń wojennych i zarazy miała wielki wpływ na rozszerzenie kultu Matki Bożej Rychwałdzkiej.
Po I rozbiorze Rychwałd dostał się pod zabór austriacki, jako część Galicji. W 1784 roku właścicielem miejscowości był szlachcic Jaksa Bykowski.