Różni inkwizytorzy, mieszkający i pracujący w pałacu pomiędzy późnym wiekiem XVI a XVIII, dokonali kilku większych prac budowlanych przy budynku, które przekształciły go w końcu w typowe rzymskie palazzo z wpływami architektury barokowej. Pałac został powiększony poprzez zakup sąsiednich posesji, pierwsze większe prace rozpoczęto w latach 1630., kiedy inkwizytorem był Fabio Chigi (późniejszy papież Aleksander VII). Fasada została przebudowana w roku 1660 według projektu Francesco Sammuta, chociaż jest często mylnie przypisywana Francesco Buonamiciemu.
Podczas sycylijskiego trzęsienia ziemi w 1693 roku pałac został uszkodzony, czego skutkiem była naprawa i kolejne przebudowy. Górne piętro zostało prawdopodobnie dobudowane w roku 1707 przez architekta Giovanniego Barbarę. Wnętrze również przebudowano i upiększono w wiekach XVII i XVIII, z główną klatką schodową powstałą w roku 1733 na bazie projektu Romano Carapecchii. W związku z tymi modyfikacjami budynek był swego rodzaju labiryntem. Jedyną pozostałością oryginalnej Castellanii jest niewielki dziedziniec z gotyckim krużgankiem o sklepieniu krzyżowym.
Okupacja francuska i rządy Brytyjczyków thumb|Rysunek z 1861 roku, przedstawiający pałac