W 1440 miasto przystąpiło do antykrzyżackiego Związku Pruskiego, na prośbę którego w 1454 król Kazimierz IV Jagiellończyk ogłosił wcielenie regionu z miastem do Królestwa Polskiego. W 1454 doszło do buntu mieszczan przeciw biskupowi Franciszkowi Kuhsmalzowi. Zniszczono wówczas rezydencję w Smolajnach. W 1466, na mocy postanowień pokoju toruńskiego wraz z całą Warmią, znalazło się w granicach inkorporowanych do Polski Prus Królewskich. W latach 1519–1521 podczas wojny polsko-krzyżackiej Dobre Miasto było okupowane przez armię wielkiego mistrza Albrechta Hohenzollerna, która obrabowała skarbiec kolegiaty. W latach 1626–1629 było okupowane przez wojska szwedzkie Gustawa Adolfa, które w 1627 zniszczyły miasto, a wycofując się, zrabowały bibliotekę kapituły. W XVII i XVIII miasto znane było ze złotnictwa.