Podczas Potopu szwedzkiego zamek zajęli Szwedzi. W maju 1656 roku zamek obległa szlachta sieradzka, ale nie potrafiła go zdobyć z powodu braku artyleriiM. Żemigała, T. Poklewski, Próba odtworzenia zmian w zabudowie zamku w Bolesławcu nad Prosną w woj. kaliskim w ciągu wieków od XIV do XVII wieku, Rocznik Kaliski, Tom XIV, 1981, s. 11.. Szwedzka załoga poddała się jednak po tygodniu wojewodzie sieradzkiemu Janowi Koniecpolskiemu w zamian za możliwość swobodnego wyjścia z zamku i przejścia na stronę polską. Po zajęciu zamku, częściowo wysadziła go polska szlachta. W dniu 9 czerwca 1657 roku król Jan Kazimierz wydał na zamku w Dankowie uniwersał, w którym nakazał urzędnikom i obywatelom Bolesławca odbudować zamek. Zrealizował to polecenie za środki państwowe miejscowy starosta Jan Feliks Radziejowski. W trakcie III wojny północnej Szwedzi w 1704 roku spalili zabudowania zamkowe i wysadzili zachodni fragment muru.

Po tych wydarzeniach zamek nie został odbudowany i opuszczony popadł w ruinę.