W zamian za pałac Błękitny Maria Zofia Denhoffowa przekazała królowi Augustowi II prawo do dożywotniej dzierżawy Wilanowa.
Zofia Denhoffowa wyszła w lipcu 1731 roku za mąż za Augusta Czartoryskiego i na długie lata pałac przeszedł w ręce rodziny Czartoryskich. Pałac został przebudowany w latach 1766–1768 według projektu Jakuba Fontany. W latach 1770–1781 został przebudowany według projektu Efraima Schroegera. W roku 1780 w pałacu zmarła tragicznie Teresa, najstarsza córka Izabeli z Flemingów Czartoryskiej. Podczas dziecięcych zabaw w pałacu od ognia z kominka zajęła się jej suknia i po trzech dniach dziewczynka zmarła na skutek poparzeń. W 1798 roku Zofia, córka Adama Kazimierza i Izabeli z Flemingów Czartoryskich wyszła za mąż za Stanisława Zamoyskiego. Od 1811 do 1944 roku mieszkali w nim Zamoyscy.
W latach 1812–1815 właściciel Stanisław Kostka Zamoyski zainicjował przebudowę pałacu w stylu klasycystycznym wg projektu Fryderyka Alberta Lessela. W latach 1816–1817 powstał budynek na zbiory biblioteki Zamoyskich. Po przebudowie w pałacu działał jeden z najbardziej znanych salonów warszawskich, prowadzonych przez Zofię z Czartoryskich Zamoyską. Była ona również protektorką młodego Fryderyka Chopina, który kilkakrotnie występował na organizowanych przez nią w pałacu prywatnych koncertach (m.in.