Wykorzystując fundamenty dawnej Oberży i mury dawnej kuchni z jadalnią przebudowanej na skrzydło z owalną salą balową wzniesiono budynek w dzisiejszym kształcie, dobudowując łącznik z głównym portalem wejściowym od strony zachodniej i tarasem od wschodniej, w stylu klasycystycznym z oranżeriąKwiatkowski M., Szymon Bogumił Zug - architekt polskiego oświecenia, PWN, 1971Kwiatkowscy M., M. Historia Warszawy XVI-XX wieku, PWN, Warszawa, 1998. Nie wiadomo, kto projektował budynekHistoryczne centrum Warszawy, TOnZ, Warszawa 1998.
W dniu 20 sierpnia 1853 roku w willi urodziła się druga córka Zygmunta Krasińskiego, ElżbietaZbigniew Sudolski, Krasiński. Opowieść biograficzna, Warszawa 1997, s. 481. (zm. 1857).
W 1893 roku córka Władysława, Maria, poślubiła księcia Zdzisława Lubomirskiego i otrzymała pałacyk w darze. Zwano go żartobliwie "Córkarnią", gdyż rodzice Braniccy rezydowali w Czerwonym Pałacu, a ich cztery córki w Białym Pałacyku. Odtąd pałacyk był warszawską rezydencją ks. Zdzisława i jego rodziny. Wnuk Zdzisławostwa Lubomirskich, Zdzisław Morawski, opisuje go jak następuje: dom składał się z trzech brył: piętrowego środka i parterowych boków. Całość w stylu klasycystycznym, mieściła około dwudziestu pokojów.