Uprawiany przez Czirnów raubritterski proceder spowodował, że zamek był w 1443 r. oblegany przez wojska wrocławskie i biskupie. Po dwutygodniowym oblężeniu z użyciem artylerii doszło do honorowej kapitulacji, a zamek został zburzony. Wkrótce w 1446 r. bracia Czirn uzyskali od książąt brzeskich Jana i Henryka zgodę na odbudowę zamku. Wykonano ją w ciągu jednego roku. Prowadzone w 2013 roku badania dr Krzysztofa Jaworskiego wykazały, że fundamenty, które uznawane były kilka lat temu za pozostałości rotundy, powstały jednocześnie z wieżą donżonu zamku zbudowanego po 1446 W 1480 z polecenia księcia legnicko-brzeskiego Fryderyka zamek został ponownie i ostatecznie zburzony.
Zamek dwukrotnie niszczony przez mieszczan wrocławskich, brzeskich, wojska biskupie i książęce. Nie ukróciło to szybko rozbójniczego procederu. W roku 1482 zamek został zniszczony przez księcia legnicko-brzeskiego Fryderyka. Z czasem rodzina rozbójników ustatkowała się i zdobyła łaskę książąt, i zamieszkała w posiadłości u podnóża wzgórz: dwory-zameczki w Siemisławicach (d. Siedmiosławicach) i Przewornie. Za grzechy przodków Jerzy Czirn ufundował nowy kościół w Krzywinie. Ród wygasł w 1615 r. i jego zamki przeszły w posiadanie książąt brzeskich.