Rodzina Kurzbachów władała zamkiem do 1592 r., kiedy to został sprzedany Adamowi Schaffgotschowi. Na przełomie XVI i XVII w. zamek był dwukrotnie niszczony przez pożary. Odbudowany i silnie umocniony zamek przez dwa lata skutecznie odpierał ataki wojsk szwedzkich. Zdobyty został w 1642 r. i odtąd służył przez 8 lat jako szwedzka baza wypadowa na Śląsk.
Od połowy XVII w. aż do końca II wojny światowej właścicielami była rodzina von Hatzfeld.
Pałac w Żmigrodzie W drugiej połowie XVII w. lub na początku XVIII w. Melchior von Hatzfeldt, feldmarszałek austriacki, dokonał przebudowy zamku na okazały barokowy pałac w Żmigrodzie. Średniowieczne budynki z wyjątkiem wieży zostały zburzone. Pałac zmodernizowano w XVIII w.. Architektem nowego, klasycystycznego skrzydła, był Carl Gotthard Langhans.
W dniu 9 lipca 1813 roku pałac był miejscem spotkania cara Rosji Aleksandra I oraz króla pruski Fryderyka Wilhelm III, którzy wraz z posłami brytyjskim i austriackim opracowywali plan ostatecznego pokonania Napoleona. Ustalenia przeszły do historii jako tzw. protokół trachenberski lub protokół żmigrodzki. W XIX w. zdjęto z wieży czterospadowy dach i dobudowano górne partie ozdabiając je neogotyckim krenelażem.