Na mocy rozejmu w Altmarku (obecnie Stary Targ) w 1629 otrzymał go następnie elektor brandenburski (do 1635). W latach 1655–1660 ponownie znalazł się pod okupacją szwedzką. Po wojnie miasto liczyło zaledwie ok. 150 mieszkańców, gdy w XVI wieku ok. 500.
W 1683 podczas wielkiego pożaru spłonął ratusz, który już nie został odbudowanyMarian Biskup, Hanna Zdzitowiecka, Sztum, w: Studia z historii budowy miast polskich, Warszawa 1957..
W państwie prusko-niemieckim mały|Rycina z dzieła Abrahama Boota z 1627, przedstawiająca miasto i zamek od strony północnej mały|Widok miasta i zamku, rysunek z 1749 Miasto należało do Polski przez prawie 300 lat i podzieliło jej losy. W 1772, liczące 469 mieszkańców, w wyniku I rozbioru, znalazło się w Królestwie Prus (na terenie prowincji Prusy Zachodnie).
Impulsem rozwojowym Sztumu stała się decyzja o przeniesienie tu z Dzierzgonia siedziby powiatu (1815, od 1818 pod nazwą powiat Stuhm). Znajdował się on od 1815 w rejencji kwidzyńskiej. Miasto liczyło w latach 20. XIX wieku niecałe 900 mieszkańców.