W 1576 roku zbudowano Dolny Dziedziniec z kwadratową basztą, tworząc obecny zarys Zamku. Wówczas Zamek stał się rezydencją królowej Adelajdy Heskiej. W kolejnych latach na Zamku mieszkały: Elżbieta Łokietkówna, Zofia Holszańska i jej syn Władysław Warneńczyk oraz z pochodzenia Włoszka – królowa Polski Bona Sforza. W późniejszym czasie warownia była wykorzystywana jako więzienie stanu, a lochy umieszczono pod wschodnią basztą. Pośród uwięzionych znajdowali się: Michael Küchmeister von Sternberg – przyszły Wielki Mistrz Zakonu Krzyżackiego oraz Andrzej Wingold, brat przyrodni Króla Jagiełły. Zamek na krótko odzyskał swoją świetność dzięki odbudowie poczynionej przez starostę chęcińskiego Stanisława Branickiego. Jednakże w drugiej połowie XVI wieku, Zamek zaczął popadać w ruinę. W 1588 roku sejm nakazał wyniesienie ksiąg z Zamku do kościoła parafialnego. W 1607 roku Zamek został zaatakowany i spalony przez rokosz Zebrzydowskiego. W 1657 roku Zamek został po raz kolejny podpalony i częściowo zniszczony przez wojska Rakoczego. Podczas Potopu Szwedzkiego Zamek został zniszczony i pozostaje trwałą ruiną do dzisiaj. Ruiny Zamku były wielokrotnie konserwowane. Pierwsze poważne prace zabezpieczające ruiny przed zniszczeniem były prowadzone w 1877 roku.