Po drugim rozbiorze Ignacy Krasicki opuścił Warmię, a po jego śmierci rezydencja biskupów została przeniesiona do Olsztyna, w związku z czym Lidzbark powoli zaczął tracić swoją dotychczasową dominującą pozycję.
10 czerwca 1807 r. miała miejsce bitwa pod Lidzbarkiem Warmińskim. Lidzbark Warmiński z racji swojego położenia stał się głównym ośrodkiem dowodzenia Rosjan i Prusaków przeciw Francuzom. W 1816 i 1818 r. rozebrano bramy: Kościelną, Młyńską i Zamkową, gdyż utrudniały komunikację. W latach 1821–1823 powstał pierwszy na ziemi warmińskiej kościół ewangelicki. Podczas I wojny światowej w 1914 r. przez pięć dni Lidzbark był okupowany przez wojska rosyjskie. W latach 1914–1919 w pobliżu Lidzbarka Warmińskiego działał duży obóz jeniecki.
W 1937 miała miejsce tzw. „wojna różańcowa” – napad policji na młodzieżowe poczty sztandarowe podczas procesji Bożego Ciała.
Miasto zostało zajęte 31 stycznia 1945 roku przez jednostki 31. armii III Frontu Białoruskiego (w 1972 roku na ówczesnej ul. Lenina odsłonięto Pomnik Wdzięczności)Rada Ochrony Pomników Walki i Męczeństwa „Przewodnik po upamiętnionych miejscach walk i męczeństwa lata wojny 1939- 1945”, Sport i Turystyka 1988, , s. 481.. Po zdobyciu przez Armię Czerwoną w 1945 r. miasto było zrujnowane w 80%.