Na początku XVI wieku zamek uległ zniszczeniu przez Tatarów. Odbudowany, ale z uwagi na przestarzały system obronny stracił na znaczeniu. W 1638 roku w wieży bramnej umieszczono archiwum miejskie. W 1662 zamek został zdobyty i spustoszony przez wojska moskiewskie, archiwum zostało obrabowane i częściowo wywiezione. W XVIII wieku dalsze zniszczenia zamku nastąpiły w wyniku pożarów: w 1710 w czasie najazdu Szwedów i w 1751, gdy spłonęły resztki miejskiego archiwum. Około 1759 roku na polecenie wojewody Józefa Jabłonowskiego na terenie zamku powstał pomiędzy wieżami obszerny ceglany budynek przykryty dachem mansardowymHanna Paulouskaya (Г. Паўлоўская), Гісторыя Новагародка айца Юзафа Пажоўскага (1759 год) як прыклад гісторыі гарадоў Новага часу, Arche. Пачатак, 2016, Nr 2, s. 205-207.. Mieściła się w nim sala sądowa, kancelaria, archiwum.
Od początku XIX wieku zamek znajduje się w stanie trwałej ruiny. Zachowały się ruiny wieży kościelnej, bramnej, fragment wschodniego odcinka murów z przechodem furty (częściowo rekonstruowane w XX wieku), wały ziemne i głęboka fosa otaczająca zamek.