W 1410 zamek opanowali mieszczanie, którzy uznali władzę króla polskiego, w 1414 w czasie wojny głodowej miasto ucierpiało od wojsk polskich. W 1444 Olsztynek przystąpił do antykrzyżackiego Związku Pruskiego, na wniosek którego w 1454 król Kazimierz IV Jagiellończyk włączył region z miastem do Królestwa Polskiego. W 1455 miasto znalazło się w rękach krzyżackich., a po wojnie w 1466 na mocy traktatu toruńskiego Olsztynek został przyznany Krzyżakom, będąc zarazem częścią Polski jako lenno. Dopiero w czasie wojny polsko-krzyżackiej w 1520 Olsztynek został zdobyty przez wojska polskie, a hetman wielki koronny Mikołaj Firlej potwierdził przywileje miasta. Od 1525 w granicach zależnych od Polski Prus Książęcych, w 1530 istniał tu polski kościół, przy którym działali wybitni protestanci. Podczas wojny polsko-szwedzkiej w 1628 w mieście stacjonowały polskie oddziały walczące z armią Gustawa Adolfa. W 1656 miasto splądrowały wojska szwedzkie, a rok później spalili je Tatarzy. mały|lewo|Dom Mrongowiusza Kolejny wielki pożar miał miejsce w 1685. Olsztynek znajdował się już wówczas w granicach państwa brandenbursko-pruskiego, przekształconego w 1701 w Królestwo Prus. W 1708 wybucha epidemia dżumy, która dziesiątkuje liczbę mieszkańców, w ciągu roku umiera prawie połowa z nich. Miasto w 1740 miało 728 mieszkańców, a w 1811 778 mieszkańców.