Powodowały one straty materialne, ubytki ludności polskiego pochodzenia oraz niemal całkowite zniszczenie zabytków architektury.
Zniszczenia miastu przyniosły pożary w końcu XVII i na początku XVIII w., najazd tatarski w latach 1656–1657, epidemia dżumy, która w latach 1709–1711 pochłonęła na terenie ówczesnego starostwa oleckiego ok. 11 tysięcy osób (w samym Olecku ocalało zaledwie 78 osób) oraz obie wojny światowe.
W wyniku reformy Fryderyka II w 1752 dawne okręgi Prus Książęcych (Sambia, Prusy Górne i Natangia) zostały podzielone na powiaty. Jednym z powiatów w okręgu natangijskim został powiat Olecko (Kreis Oletzko). Siedzibą powiatu była Margrabowa, lecz nosił on nazwę od zamku Olecko. W powiecie tym znajdowały się również Ełk (Łek) i Pisz (Jańsbork).
W okresie kampanii napoleońskiej w Olecku kwaterowały oddziały gen. Józefa Zajączka i gen. Jana Henryk Dąbrowskiego.
W 1818 w wyniku reformy administracyjnej duży powiat Olecko podzielono na trzy mniejsze powiaty: olecki (Kreis Oletzko), ełcki (Kreis Lyck) i jańsborski (Kreis Johannisburg). Powiat aż do 1933 roku nosił nazwę Olecko, co wpłynęło też na popularność tej formy nazwy miasta.