Budowla ta została zniszczona w połowie XVII w., a ostatecznie rozebrana w XIX w. Na miejscu dawnego zamku wzniesiono kościół katolicki.

Na początku XVI wieku, gdy Albrecht Hohenzollern odmówił złożenia hołdu królowi polskiemu, doszło do kolejnej wojny, w wyniku której Pasym trafił w ręce polskie na 5 lat.

W latach 1547–1549 proboszczem był ksiądz Andrzej Samuel, doktor teologii, pisarz religijny. W Pasymiu młode lata spędził Krzysztof Hartknoch (1644–1687) – historyk Polski i Prus, profesor Gimnazjum Toruńskiego. W 1657 r. miasto zostało zniszczone w czasie najazdu tatarskiego. Od XVIII wieku miasto traciło na znaczeniu na rzecz rozwijającego się niedaleko Szczytna. W lutym 1807 r. przez kilka dni stacjonował tu Napoleon wraz z 60-tysięczną armią. Kwatera Napoleona mieściła się na plebanii. W 1868 roku ucierpiało na skutek dużego pożaru, podobnie jak i wcześniej w 1750 r. thumb|upright|left|Kościół ewangelicko-augsburski w Pasymiu około 1930 W 1883 r. o 3 km od Pasymia wytyczono linię kolejową (podobno linię wybudowano z dala od miasta na skutek protestów miejscowych kupców, którzy obawiali się, że „żelazny potwór” przywiezie do miasta konkurencjęPiotr Skurzyński „Warmia, Mazury, Suwalszczyzna” Wyd. Sport i Turystyka – Muza S.A. Warszawa 2004 , s. 306.), w 1898 r. wybudowano gazownię, w 1904 r. rzeźnię, a w 1911 r.