Od północnej strony nowej oficyny dodano prostopadłe, drewniane skrzydło, przeznaczone jako stajnie i wozownie. Prace budowlane przerwano w 1767 z powodu śmierci Jana Hylzena.
Ok. 1775 wdowa po wojewodzie, Konstancja Hylzenowa zaczęła dalsze prace budowlane, wystawiając wielki, przyuliczny korpus główny (klasycystyczny) od ulicy Nowolipia. Nowy gmach był dwupiętrowym budynkiem o szerokim ryzalicie z bramą wjazdową pośrodku i zwieńczoną czterookienną facjatą. Z boków do tego korpusu przytykały niższe człony jednopiętrowe, których ściany były w połowie elewacji cofnięte. Skrzydło wschodnie pałacu zostało przedłużone w kierunku północnym, gdzie powstał trzeci dziedziniec gospodarczy z wjazdem od strony wschodniej. Z zachodniej strony utworzono ogród o czterech kwaterach.
Połączenie dwóch wewnętrznych dziedzińców powstało poprzez rozebranie starego pałacu. Powstał nowy, wydłużony dziedziniec wewnętrzny z dwoma parterowymi bocznymi pawilonkami. Stare drewniane skrzydło zachodnie zamierzano rozebrać i wybudować dwupiętrową kamienicę i łączący się z jednopiętrową kamienicą przy ul. Nowolipie. Po zachodniej stronie drugiego i trzeciego dziedzińca ciągnął się barokowy ogród o czterech kwaterach. Z czasem powstała tu oranżeria.