W pierwszej połowie XVI w. pojawili się w mieście zwolennicy reformacji, jednak dzięki zdecydowanej postawie biskupów chełmińskich, będących właścicielami Chełmży, miasto pozostało katolickie. Pod wpływem reformacji likwidacji uległ jednak konwent franciszkanów. W 1531 wielki pożar zniszczył zabudowania miasta. Od końca wojny trzynastoletniej miasto nie odgrywało większej roli politycznej ani gospodarczej, będąc jedynie miejscem ingresów biskupów chełmińskich oraz synodów prowincjonalnych. Nie znalazło dobrych warunków rozwoju, żyjąc w cieniu większych miast – Torunia i Chełmna, było też niszczone przez pożary i wojny (przede wszystkim najazdy szwedzkie w latach 1626–1629 i 1655–1660). W drugiej połowie XVI w. Chełmża liczyła ok. 850 mieszkańców, a przed 1776 r. populacja miasta spadła do zaledwie ok. 520 osób.
W 1625 r. nastąpił powrót zakonników i położenie kamienia węgielnego pod klasztor franciszkanów. W 1621 i 1627 miasto odwiedzili Zygmunt III Waza wraz z królewiczem Władysławem. Wielokrotne przemarsze wojsk w czasie wojen szwedzkich 1626–1629 i 1655–1660 spowodowały upadek miasta, którego podstawą egzystencji stało się w XVIII wieku rolnictwo i browarnictwo.