W pierwszej połowie XVII wieku zabudowania były nadal użytkowane i modernizowane. Lustracja z lat 1628–1632 nazywa mieszkalną część zespołu „zamkiem”. Powiększono wówczas główny drewniany dom, przebudowano kominy i piece, a budynek z murowanymi piwnicami zmieniono przez podział dawnej wielkiej izby na trzy komory. Na przygródku powstał duży drewniany dom określony jako „budowanie z dawna wójtowskie”, a cały zespół został ponownie otoczony parkanem. W trakcie lustracji nie wymieniono żadnych murów otaczających zabudowę.
Przed połową XVII wieku stan zamku znacznie się pogorszył. W 1655 roku Hieronim Olszewski, obejmując starostwo brzeźnickie, miał zastać „zamek tak barzo pusty (...), w którym podczas niepogody i mieszkać niepodobna było”. W latach 1655-1659 przeprowadził jego remont.
Ostateczny upadek siedziby starościńskiej wiązany jest z przekazaniem w 1717 roku należących do starostwa dóbr paulinom z Częstochowy, którzy dochody z nich mieli przeznaczać na utrzymanie twierdzy jasnogórskiej. W tym okresie centrum administracyjne klucza przeniesiono do pobliskich Dworszowic.
Lokalizacja