U stóp zamku rozwinęła się osada, która w 1541 uzyskała prawo targu, a 10 października 1583 prawa miejskie. 9 czerwca 1590 miasto strawił pożar, który przetrwały 9 ze 149 domów, kościół i szkoła. W 1601 roku w Wystruciu wybuchła zaraza. Potem nadszedł dobry okres dla miasta, kiedy w 1632 r. elektor Georg Wilhelm przeniósł swoją rezydencję z Królewca do Wystrucia. W latach 1643–1648 w zamku mieszkała wdowa po królu Gustawie Adolfie, królowa Szwecji Maria Eleonore. W XVII miasto podupadło za sprawą licznych przemarszów wojsk i najazdów. Kiedy Brandenburgia zawarła sojusz ze Szwecją, Tatarzy napadli na Wystruć w 1657 r. i częściowo go spalili, a także uprowadzili ze sobą wielu mieszkańców. W 1679 r. miasto zajęli Szwedzi. W 1680 r. Wystruć otrzymał także pierwszy garnizon. Potem znowu w 1690 r. wielki pożar uderzył w miasto. W 1709 w wyniku kolejnej zarazy miasto uległo wyludnieniu. W celu ożywienia miasta, sprowadzono do niego osadników z Litwy i Szwajcarii, w szczególności w 1732 roku. Pierwszy kościół zreformowany został zbudowany w 1736 roku. W czasie wojny siedmioletniej w latach 1758–1762 miasto było okupowane przez Rosjan.