W czasie potopu szwedzkiego po klęsce w bitwie pod Prostkami, gdzie posiłkujące Szwedów wojska pruskie uległy wojskom hetmana Wincentego Gosiewskiego, na Mazury wtargnęły wspierające Polaków oddziały litewskie i tatarskie. Gród nad Niegocinem Tatarzy zaatakowali 10 lutego 1657, puszczając całe miasto z dymem. Ocalały tylko zamek, ratusz i kościół. Miasto praktycznie przestało istnieć.

W Królestwie Prus thumb|Mapa Giżycka i okolic (około 1818 r.) mały|Tablica pamiątkowa w miejscu narodzin Wojciecha Kętrzyńskiego Na mocy postanowień traktatów welawsko-bydgoskich z 1657 r. Polska utraciła zwierzchnictwo nad regionem i miasto odtąd było częścią państwa brandenbursko-pruskiego, przekształconego w 1701 w Królestwo Prus.

Rada miejska wystąpiła w 1690 r. z prośbą o zwolnienie grodu z podatków państwowych, ciężarów publicznych i zakwaterowań. Lötzen było wówczas najbiedniejszym miasteczkiem Prus Książęcych. W wyniku wielkiej epidemii dżumy w 1710 zmarła prawie cała ludność miasta.