Podczas wojny polsko-rosyjskiej 25 lipca 1654 r. zamek wraz z miastem poddał się bez walki wojskom moskiewskim wojewodów Szeremietiewa i Streszniewa. Rosjanie szybko odbudowali i ufortyfikowali zamek. W 1655 forteca miała 14 wież i dwie bramy, była uzbrojona w 40 dział różnego kalibru. Ponieważ podczas działań wojennych zniszczeniu uległa zabudowa miasta, dziśnieńscy mieszczanie przenieśli się na wyspę i utworzyli wokół twierdzy osadę otoczoną drewnianymi fortyfikacjami, zwaną Dolnym Zamkiem. Dla odróżnienia, starą twierdzę zaczęto nazywać Górnym Zamkiem. 10 kwietnia 1660 (wg innych źródeł w marcu 1661) został wyzwolony przez wojska Wielkiego Księstwa Litewskiego dowodzone przez regimentarza litewskiego Mikołaja Judyckiego. Stało się to na skutek buntu mieszczan znajdujących się w zamku, którzy obezwładnili znajdujących się tam żołnierzy, powiesili na bramie burmistrza, który siedem lat wcześniej poddał miasto Moskalom i otworzyli bramy zamku. Do końca wojny w Dziśnie utrzymywany był silny garnizon.
Twierdza została doszczętnie zniszczona na początku