po latach spokoju nadszedł kolejny pożar, a dwa lata później założono w mieście żeński klasztor św. Katarzyny.
Liczne wojny i wcielenie do Prus (XVII i XVIII wiek) mały|Panorama Lidzbarka w XVII w. mały|Pałac Grabowskiego przy zamku, wzniesiony w XVIII w. Na początku XVII wieku biskup Szyszkowski na terenie przyzamkowego folwarku, na południowy zachód od miasta założył ogrody. Wzniesiono również pawilon ogrodowy, z biegiem lat przekształcony w pałac. W 1648 r. miasto wykroczyło poza mury. W 1656 roku wojska szwedzkie i brandenburskie oblegały całą Warmię, również Lidzbark. 25 marca 1698 r. spłonęła wieża i dach kościoła. Pod patronatem biskupa Potockiego odbudowano kościół, który otrzymał nowy barokowy hełm wieży. W 1672 r. Lidzbark broni się przed najazdem wojsk Szwedzkich. W latach 1703–1709 Lidzbark okupowali Szwedzi, a w 1703 r. król Szwecji Karol XII spędzał tu zimę. W Lidzbarku zapadła decyzja, aby królem polski został Stanisław Leszczyński. Gdy władca Szwecji opuścił miasto, zabrał ze sobą 12 wozów wyposażenia. W 1709 roku biskup Załuski rozpoczął budowę barokowego kościółka na ulicy Wiejskiej, było to wotum za koniec epidemii dżumy z tego samego roku. Budowę zakończono w 1789 r. W 1749 r. biskup warmiński Adam Grabowski odnalazł Kronikę Galla, która została ogłoszona drukiem.