Złoty wiek miasta został zahamowany w wyniku wojen polsko-szwedzkich. W latach 1626–1628 pod miastem miała miejsce koncentracja pospolitego ruszenia z udziałem króla Zygmunta III i hetmana Stanisława Koniecpolskiego, który 30 kwietnia 1628 powstrzymał wojska szwedzkie na linii Osy. Rozejm z 1629 roku przyniósł miastu okres względnego spokoju. W 1634 roku na zamku w Grudziądzu odbyły się mediacje pokojowe z udziałem króla i neutralnej komisji niderlandzko-angielsko-francuskiej. W 1655 wojna wybuchła na nowo i wojska szwedzkie dzięki pomocy protestanckich mieszkańców miasta zajęły Grudziądz. Miasto zostało ufortyfikowane i pełniło ważną rolę szwedzkiej bazy zaopatrzeniowej (na zamku przebywała królowa szwedzka z rodziną). Pod koniec sierpnia 1659 wojska polskie pod wodzą hetmana Jerzego Lubomirskiego zdobyły szturmem miasto. thumb|upright=2.0|center|Erik Dahlbergh, Obsidio civitatis et Arcis Graudensis, XVII w. mały|Zamek w Grudziądzu w XVIII wieku W połowie 1703 roku, w czasie wielkiej wojny północnej Szwedzi zajęli miasto po raz kolejny, nakładając na nie wysoką kontrybucję. Kolejne niepokoje wojenne w połowie XVIII w. (okupacja rosyjska 1758–1764) i zarazy spowodowały dalszy upadek gospodarczy miasta.