Od XVII wieku odnotowuje się upadek gospodarczy miasta. W czasie konfederacji barskiej, latem 1768 powstańcy spychani przez wojska rosyjskie znaleźli się kilkadziesiąt kilometrów od Grybowa. W latach 1772–1918 Grybów znajdował się w zaborze austriackim. W 1863 w Grybowie powstało nielegalne biuro przyjmujące i ekwipujące ochotników udających się do powstania styczniowego, głównie uczniów gimnazjalnych. W okresie powstania styczniowego i później w latach 1866–1867 bywał w Grybowie Artur Grottger, (przyjeżdżający do swojej narzeczonej, Wandy Monné), a około 1900 przybyli do Grybowa Stanisław Wyspiański i Józef Mehoffer.
Neogotycki kościół pw. św. Katarzyny wybudowany w latach 1909–1914
![Obrazek](https://s8.flog.pl/media/foto/5878355_grybow--otrzymal-prawa-miejskie-w-1488.jpg)
![Obrazek](https://s8.flog.pl/media/foto/poszept_87d3bcfaebca2a800fec33834ae02405.jpg)
![Obrazek](https://s8.flog.pl/media/foto/poszept_a792fa4b806ea2d5883fb8337c26baf2.jpg)
![Obrazek](https://s8.flog.pl/media/foto/poszept_ca1df273c6b514d7d43dc77255007bf9.jpg)
![Obrazek](https://s8.flog.pl/media/foto/poszept_8fdf42c900249ab5538cab43b4c6fadc.jpg)
![Obrazek](https://s8.flog.pl/media/foto/poszept_1d26de261ea0029625efa11800634fdb.jpg)