Po śmierci Stanisława Padniewskiego i wygaśnięciu pilickiej linii rodu, nieukończony zamek stał się przedmiotem sporów majątkowych między Dębińskimi i innej linii Padniewskich.
Zamek Jerzego Zbaraskiego Spadkobiercy Padniewskich sprzedali 28 lutego 1613 roku majątek kasztelanowi krakowskiemu Jerzemu Zbaraskiemu, który około 1620 roku rozbudował obiekt wznosząc nad dziedzińcem przykrytą dachem trzynawową salę wspartą na dwóch rzędach kolumn. Od południa, od strony ogrodu włoskiego, Jerzy Zbaraski dodatkowo polecił wydłużyć oba budynki Padniewskich i zbudować dwukondygnacyjną loggię o 13 arkadach. W rezultacie obiekt przybrał formę włoskiej willi. Także pierwsze fortyfikacje wokół pałacu zbudował Jerzy Zbaraski, o czym świadczy list z 1623 roku, w którym jako jeden z zatrudnionych w Pilicy został wymieniony wenecki inżynier wojskowy Andrea dell'Aqua, znany też z prac przy fortyfikacjach Zamościa, Raszkowa, Tarnopola, Brodów. W czasach Jerzego Zbaraskiego powstał zarys czworobocznej twierdzy z sześcioma bastionami połączonymi murami kurtynowymi i wzmocnionymi fosą o szerokości 20 metrów.