W latach 1632–1643 przeprowadzono rozbudowę wcześniejszego dworu wieżowego przypuszczalnie wg projektu włoskiego architekta Konstantyna Tencalla. W 1632 roku nieruchomość od królewicza Władysława otrzymał w darze jego przyjaciel Adam Kazanowski, jednak okoliczności tego wydarzenia nie są do końca wyjaśnione. Według jednej koncepcji nastąpiło to za życia króla Zygmunta III Wazy i spowodowało to jego konflikt z synem, który doprowadził nawet do opieczętowania pałacu, jednakże spór miała zakończyła śmierć króla Zygmunta w kwietniu 1632 roku. Inne źródła dowodzą, że do darowizny doszło dopiero 16 sierpnia 1632 roku i Wazowie nie prowadzili tam wcześniej żadnych prac budowlanych i podjął je dopiero Adam Kazanowski.
Kazanowski zbudował w tym miejscu w jedną z najwspanialszych warszawskich rezydencji pałacowych 1 połowy XVII wieku. Rezydencję opisał autor pierwszego wierszowanego przewodnika po Warszawie z 1643 roku, Adam Jarzębski, oraz historyk francuski, Jean Le Laboureur, który wspominał: „Włochy (...) nie mają nic tak pompatycznego i wielkoksiążęcego. Przyznam, żem się czuł jakby przeniesiony we śnie do jakiegoś czarodziejskiego pałacu (...)”.