Na lidzbarskim zamku w czasie wojny siedmioletniej (1756–1763) przebywali okupanci podejmowani przez biskupa Grabowskiego

W latach 1767–1795 biskupem warmińskim był Ignacy Krasicki. To w lidzbarskich ogrodach pisał swe dzieła. W Lidzbarku w roku 1775 powstały jego Myszeida i Monachomachia, w r. 1776 Mikołaja Doświadczyńskiego przypadki, w r. 1778 Satyry, w r. 1779 Pan Podstoli oraz Bajki i Powieści i tak dalej aż do r. 1786. Doprowadził on pałacyk letni do aktualnej klasycystycznej formy, a ogrody do wielkiej świetności.

Po pierwszym rozbiorze Polski w 1772 r. Warmia trafiła do państwa pruskiego. Biskupi i kapituła straciła swą władzę, kraj podzielono na powiaty, a na zamku usytuowano garnizon. Lidzbark rozwijał się wolno, przestrzeń ograniczona murami, okazała się wystarczająca do końca XVII w. Przedmieścia pełniły funkcję zaplecza gospodarczego. W 1772 r. w obrębie murów było 230 domów, a na przedmieściach 50. Ludność, razem z załogą zamku, liczyła 3049 osób. Po drugim rozbiorze Ignacy Krasicki opuścił Warmię, a po jego śmierci rezydencja biskupów została przeniesiona do Fromborka. Miasto popadało razem wraz z zamkiem w ruinę.

XIX wiek mały|Zamek biskupów warmińskich w 1839 mały|Średniowieczny ratusz w 1845, 20 lat przed zniszczeniem