Zniszczony w czasie pożaru 1381 roku, który strawił budynek mieszkalny, kaplice i inne budynki. Zamek decyzją z 1385 roku odbudowany został osiem lat po pożarze (w 1389 roku) i od tego czasu trafił jako lenno w ręce Raussehndorfa aż do 1424 roku. Po nim właścicielem został rycerz Kunz z Niemczy, a następnie jego spadkobierca Konrad, który dobra zamkowe podarował swej córce, mniszce z klasztoru w Lubomierzu. W 1444 roku pełnomocnik klasztoru sprzedał rezydencję i wszystkie uprawnienia stały się własnością rady miejskiej Lwówka Śląskiego.
Likwidacja Zamek po raz kolejny strawił pożar 1472 roku. W 1475 roku za zgodą ówczesnego króla Macieja Korwina – formalnego właściciela zamku książęcego w Lwówku Śląskim, zamek został zniesiony, a rada miejska wydała nakaz jego rozbiórki, natomiast władze miasta zostały zobligowane do wybudowania Szpitala św. Macieja i Kościoła św. Macieja (obecnie nie istnieją, do wojny trzydziestoletniej znajdowały się za murami miejskimi, na Złotoryjskim Przedmieściu, przy Baszcie Bramy Złotoryjskiej, w okolicy obecnej siedziby Poczty Polskiej w Lwówku Śląskim). W 1478 roku kamienie z zamkowego pogorzeliska wykorzystano do budowy Kościoła św. Macieja. Tego samego roku na placu zamkowym nie pozostały już żadne gruzy. Obecnie po zamku nie ma praktycznie żadnego śladu.