Budowla uzyskała wówczas formę barokową, o planie w kształcie zbliżonym do podkowy.
Ostatnia znacząca przebudowa zamku miała miejsce w latach 1668-1691 w czasie urzędowania biskupów: Andrzeja Trzebickiego. Rozebrano starą średniowieczną wieżę i część domu północnego oraz attykę i piece w Domu Wielkim. W nowych skrzydłach znalazły się: północny budynek średniowieczny i południowy bramny. Zbudowano most na filarach, ozdobną bramę z attyką i wymieniono kamieniarkę. Przebudowę korpusu zamkowego na barokową rezydencją, kontynuował biskup Jan Małachowski, zapewne wg projektu architekta Jana Solariego bądź Franciszka Solariego. Obiekt zyskał wtedy charakter wygodnej rezydencji pałacowej, która nie posiadała już cech obronnych. Ostatnim inwestorem w bodzentyńskiej rezydencji był w 2 połowie XVIII wieku biskup Kajetan Ignacy Sołtyk, zatrudniający architekta Jakuba Fontanę, jednak przypuszczalnie żadnych większych prac wtedy nie zrealizowano.