Rozebrano główną kondygnację oraz stromy, dwupołaciowy dach średniowieczny, którego kalenica w czasach użytkowania budynku przez braci pustelników, sięgała do połowy wysokości wieżyczek (sygnaturki). W okresie wojny siedmioletniej (1756–1763) dwukondygnacyjna już, podobnie jak dzisiaj, budowla była wykorzystywana jako piekarnia przez wojska cesarskie] (austriackie). Po II wojnie światowej klasztor służył straży pożarnej, później pełnił funkcję magazynów. Od 1987 roku właścicielem budynku jest również parafia NMP Matki Kościoła. W ciągu ostatnich lat zostały z niego zdjęte tynki, dzięki czemu klasztor i kościół znów zaczęły stanowić w miarę jednolity obiekt.
Bożogrobcy left|200px|thumb|Bracia Krzyżowi Pańskiego Grobu Jerozolimskiego W Dzierżoniowie bożogrobcy osiedlili się na przełomie XIII i XIV w. Dokument z 1331 roku mówi o tym, że biskup wrocławski Tomasz II Zaremba ufundował przed murami miasta szpital. Miało to miejsce w obecności Bernarda, księcia lwóweckiego, a fundusze pochodziły częściowo z zapisu księcia wrocławskiego Henryka IV Probusa, który przeznaczył na ten cel czynsz ze wsi Piława. Fundacja miała więc miejsce w okresie pomiędzy objęciem władzy Bernarda w 1281 roku, a śmiercią Henryka Probusa w 1290 roku.