W tym okresie znacznych zmian doznawała też dawna fortalicja z połowy XV w. Drewniany dwór zastąpiono budowlą murowaną, później dodatkowo jeszcze rozbudowaną. Jak wskazują zachowane opisy z lat 1667 i 1717, ok. połowy XVII wieku istniejąną wówczas „kamienicą na przykopie” rozbudowano o skrzydło południowe, nadając budowli zachowany do dziś, charakterystyczny kształt litery „L”.
Gorzeńscy W 1717 roku wdowa po Michale Dobrzyckim, Anna z Rydzewskich Dobrzycka, sprzedała Dobrzycę Aleksandrowi Gorzeńskiemu herbu Nałęcz, miecznikowi kaliskiemu. Po śmierci swej małżonki Anny z Iwanowic Koźmińskiej, wstąpił on do stanu duchownego i pnąc się po kolejnych szczeblach kariery kościelnej, osiągnął wysokie godności wikariusza generalnego i oficjała gnieźnieńskiego, które sprawował u boku trzech kolejnych prymasów – Teodora Potockiego, Krzysztofa Antoniego Szembeka i Adama Komorowskiego.