W roku 1611 wybudowano nowy kościół pod wezwaniem Matki Bożej, ufundowany w 1514 przez króla Zygmunta I. Wraz z fundacją nowego kościoła, król ufundował obraz ołtarzowy „Pokłon trzech króli” (obecnie w muzeum sztuki średniowiecznej w Mińsku). W tym czasie wyspa była połączona z brzegiem jeziora dwoma mostami. Około połowy XVII wieku pożar zniszczył wyspę z zamkiem (nie spłonął tylko kościół). Po pożarze zarządzający Dryświatami w imieniu króla wojewoda wileński Krzysztof Radziwiłł, nakazał przenieść miasto na brzeg jeziora.
W 1780 Dryświaty zostały nadane Karolowi i Hieronimowi Radziwiłłom, a w 1790 sprzedane Michałowi Ogińskiemu. Od 1794 majątek Łopacińskich: z odnogi saryjskiej – Jana Nikodema do 1810, z odnogi szarkowskiej – Ignacego i Dominika Tadeusza od 1820, a następnie z odnogi rafałowskiej – Józefa Nepomucena do ok. 1840, Antoniego Jerzego do 1855 i jego żony Anny, wygnanej w 1863 do Tambowa. W 1865 majątek został odsprzedany gubernatorowi ryskiemu Augustynowi Etingienowi.
W czasie rozbiorów miasto zostało zagarnięte przez Rosję.
Ponownie w Polsce w latach 1921–1939.
W latach 1921–1939 miasteczko było siedzibą gminy Dryświaty.