XVI - XVII wiek W 1514 r. dobra opatowskie od biskupa lubuskiego Dytryka von Bülow kupił kanclerz wielki koronny Krzysztof Szydłowiecki. W tym czasie miasto zostało otoczone murami obronnymi, z czego do dzisiaj zachowały się jedynie fragmenty murów miejskich z Bramą Warszawską. Po śmierci Szydłowieckiego miasto stało się własnością Jana Amora Tarnowskiego. Po jego śmierci w 1561 roku własność jego syna Jana Krzysztofa Tarnowskiego. Jego siostra Zofia Tarnowska wniosła Opatów w posagu Konstantemu Ostrogskiemu. Po nim właścicielem był ich syn Janusz Ostrogski zmarły w 1620 roku. Po nim Opatów objął jego stryj Aleksander Ostrogski. Jego córka Zofia wniosła Opatów w posagu Stanisławowi Lubomirskiemu, a po nim objął go Jerzy Sebastian Lubomirski. Jego córka Krystyna wniosła w posagu Opatów Feliksowi Kazimierzowi Potockiemu. Później własność m.in. Radziwiłłów.
W 1655 roku wzmiankowano "zamek opatowski", który miał się składać z budynku z bramą z mostem zwodzonym, przy którym stał dom starosty, budynek mieszkalny, piętrowy budynek mieszkalny z reprezentacyjną salą, a całość była otoczona wałem z parkanem i trzema basztami.