Z tego okresu zachowały się również relikty dawnych gotyckich kamienic.
Podczas najazdu („potopu”) szwedzkiego pałac został poważnie zdewastowany. Po roku 1680 właścicielem rezydencji stał się Jan Wawrzyniec Wodzicki. Z jego polecenia w latach 1682–1684 przeprowadzono gruntowną jej przebudowę. Pod koniec XVII w. przebudowy dokonał włoski architekt Jakub Sollari, a stiuki i wykończenia wykonał włoski rzeźbiarz Baltazar Fontana. Stiuki (przedstawiające m.in. strącenie Faetona) powstały wtedy m.in. w gabinecie o sklepieniu zwierciadlanym. W XVIII w. pomieszczenie to pełniło funkcję pałacowej kaplicy. Reprezentacyjny charakter budynku podkreślała wspaniała sień, kolumnada na dziedzińcu oraz duże sale na pierwszym piętrze (piano nobile). Po 1726 r. były prowadzone dalsze prace architektoniczne związane z przebudową obiektu. W ich efekcie fasada pałacu uzyskała cechy stylu barokowego. Została ona ponadto wyłożona okładziną kamienną, a bramę ozdobił barokowy portal. Przemianom uległy także wnętrza rezydencji, które upiększono dekoracją polichromowaną, zachowaną do naszych czasów w niektórych pomieszczeniach pierwszego i trzeciego piętra. Podziw współczesnych budziły także sprzęty zdobiące komnaty pałacu.