W latach 70. XV wieku zamek kupił Jan z Elsnitz, który organizował stąd łupieżcze wyprawy do Łużyc. Po jego śmierci właściciele często zmieniali się, prawdopodobnie dlatego, że dobra były dość spustoszone. Gdy w roku 1518 lemberskie dobra kupił górnołużycki starosta Wilhelm z Illburka, z sześciu wsi w majątku zamieszkane były tylko dwie. Do ożywienia gospodarki, a tym samym i całego majątku, doszło dopiero po roku 1550, gdy Lemberk odziedziczył przedsiębiorczy zięć Wilhelma, Henryk Kurzbach ze Żmigrodu. Nowy pan, rozbudowami i remontami, nadał średniowiecznej twierdzy renesansowy charakter siedziby pańskiej i centrum majątku. W roku 1581 zamek znów przejęli Berkowie z Dubé, ale po śmierci Henryka w roku 1599 sprzedali majątek Wrocisławowi z Donína, do którego należały niedalekie dobra grabštejnskie. Ród Donínów (niem. zu Dohna) władał następnie całą krainą aż do końca wojny trzydziestoletniej, gdy ich majątek, po pobiałogórskich konfiskatach, przypadł w roku 1623 koronie cesarskiej.