Podczas I Wojny światowej zamek w 1914 roku został spalony przez wycofujących się Rosjan i następnie niszczał jako ruina bez sklepień i dachów. Gruntowną odbudowę przeprowadził gen. Lamezan-Salins w latach 1920–1926. Córka generała Irena wyszła za mąż za Tadeusza Bór Komorowskiego herbu Korczak, który zamieszkał w zamku w 1930 roku. W czasie II wojny światowej zamek ponownie zdewastowano. Po 1945 roku mieściła się w nim szkoła traktorzystów i internat dla uczniów.
W latach 1975–1983 obiekt poddano pracom remontowo-konserwatorskim w celu umieszczenia w nim domu pracy twórczej, jednak przez wiele lat pozostawał opuszczony.
Od 2018 roku zamkiem zarządza Centrum Kulturalne „Zamek Świrz”, które w okresie letnim udostępniło zamek dla zwiedzających.
Architektura