Miasto było wielokrotnie niszczone nie tylko przez Szwedów, ale też w 1657 przez Węgrów.

Od XVII wieku odnotowuje się upadek gospodarczy miasta. W czasie konfederacji barskiej, latem 1768 powstańcy spychani przez wojska rosyjskie znaleźli się kilkadziesiąt kilometrów od Grybowa.

W latach 1772–1918 Grybów znajdował się w zaborze austriackim. W latach 1782–1850 i 1854–1865 należał do cyrkułu sądeckiego. Ewaryst Andrzej, hrabia Kuropatnicki w wydanej po raz pierwszy w 1786 Geografii (...) Galicyi i Lodomeryi pisał krótko o Grybowie: W górnym położeniu miasto, kościołem farnym murowanym ozdobne; starostwo to w dzierżawie domu Wodzickich.

W związku z kolejnymi reformami administracyjnymi Królestwa Galicji i Lodomerii w latach 1850–1854 Grybów był siedzibą jednego z Bezirkshauptmannschaft-ów w składzie okręgu rządowego Kraków, natomiast od 1855 był siedzibą tzw. małego powiatu (niem. Bezirke), liczącego 27 gmin i nieco ponad 16 tys. mieszkańców.

W 1863 w Grybowie powstało nielegalne biuro przyjmujące i ekwipujące ochotników udających się do powstania styczniowego, głównie uczniów gimnazjalnych.