Przypuszczalnie zamek nie został złupiony w czasie Potopu szwedzkiego. Od synów Teresy i Zygmunta zamek kupił w 1673 Teodor Denhoff, który przekazał go swojemu synowi Franciszkowi Teodorowi Denhoffowi (zm. 1696). Inwentarze rejestrowały, że wnętrza zamku były ozdobione stropami ramowymi oraz obrazami wzorowanymi na cyklu sześciu akwafort Stefano della Belli, przedstawiające wjazd do Rzymu kanclerza Jerzego Ossolińskiego w 1633 r. W 1711 roku wzmiankowano, że w mieszczącej się w wieży kaplicy na zamku w Ossolinie nie było ołtarza, lecz jedynie mały, prosty krucyfiksPielas J., Źródła i materiały do dziejów szlachty województwa sandomierskiego w XVI–XVIII wieku, t. 2: Inwentarze dóbr ziemskich z XVII–XVIII wieku (cz. 1), Kielce 2013, s. 131-135.. W 1 połowie XVIII wieku w wyniku częstych zmian właścicieli zamek zaczął podupadać, ponieważ ich główne siedziby mieściły się w innych miejscach. W 1731 zamek stał się własnością Zygmunta Lubomirskiego.