W 1463 r. król czeski Jerzy z Podiebradów osadził w zamku rycerza Hansa von Tschirnhausa, który zasłynął w okolicy z rozbojów. Stało się to powodem zorganizowania w 1468 r. przez mieszczan wrocławskich i świdnickich pod przywództwem Guncela II Świnki zbrojnej wyprawy na zamek. W 1491 r. oblegał zamek król czeski Władysław II Jagiellończyk. Na początku XVI w. zamek za sprawą króla Ferdynanda I został przekazany wrocławskiemu biskupowi w dożywocie. Biskup na polecenie monarchy podjął rozbudowę zamku. W latach 1539–1540 zamek pod kierownictwem lombardzkiego architekta Jakuba Parra został przebudowany. Powiększono przede wszystkim obszar warowny. Wybudowano, otoczone murami i bastejami, dziedzińce w części południowo-zachodniej oraz od strony miasta. Umocnienia te połączono z dwiema basztami miejskimi. Wieża zyskała blankowanie w formie jaskółczych ogonów. Po śmierci biskupa w 1543 r. zamek przeszedł jako lenno na jego rodzinę. Od 1570 r. właścicielem zamku był Matthias von Logau. W 1596 r. zamek przeszedł w ręce rodu Zedlitz. W 1640 r. (podczas wojny trzydziestoletniej) zamek był oblegany. W 1646 r. zajęły go wojska szwedzkie.