W 1689 Gardzienice w wyniku małżeństwa córki Stefana i Katarzyny Czarnieckich – Zofii Anieli Czarnieckiej z Michałem Potockim, starostą krasnostawskim i koronnym pisarzem polnym, późniejszym wojewodą wołyńskim – stają się własnością Potockich. Na przełomie XVII i XVIII w. nowi właściciele rozbudowali dwór obronny, nadając mu bardziej reprezentacyjną formę pałacu. Można przypuszczać, że przy powstałym pałacu, założono zgodnie z wymogami baroku, niewielki ogród o geometrycznym zarysie. Brak jednak potwierdzających to źródeł.
Michał Potocki przekazał Gardzienice w 1724, tuż po śmierci żony, swojemu drugiemu synowi – Feliksowi Wincentemu Potockiemu, staroście krasnostawskiemu. Ten ożenił się z Marianną z Daniłłowiczów herbu Sas, która po śmierci męża w 1766 przejęła Gardzienice oraz Wojsławice, gdzie mieszkała do swojej śmierci w 1775. Później Gardzienice przeszły w ręce najmłodszej z córek Potockich, wydanej za Józefa Miączyńskiego herbu Suchekomnaty, który po pożarze w 1802 zamierza odbudować zniszczony pałac. Odrestaurowano wówczas jedynie dawne pokoje mieszkalne. Z kronik z tego okresu możemy dowiedzieć się, że w 1810 część zamku pokryta była słomą i gontem.