W latach 1909–1945 właścicielem pałacu był hrabia Edward Bernard Raczyński. W okresie 1905 i 1910–1911 w pałacu mieścił się m.in. konsulat Stanów Zjednoczonych, po I wojnie światowej Francuska Misja Wojskowa (1924)Liste du Corps Diplomatique à Varsovie 1924, s. 32.
Korpus główny pałacu został spalony podczas obrony Warszawy we wrześniu 1939. Całkowitemu zniszczeniu uległy wtedy wnętrza pałacowe. Budynki od ulicy zostały wypalone w 1944. Po wojnie zniszczenia budynku oszacowano na ok. 70%.
Pałac odbudowano w latach 1948–1959 według projektu Stanisława Brukalskiego. Starano się przywrócić wygląd, jaki miał w XVIII w.
Pałac i sąsiadujące budynki zajęła stołeczna Akademia Sztuk Pięknych (ASP). W 1962 Ministerstwo Gospodarki Komunalnej odebrało Raczyńskiemu prawo własności i zezwoliło na użytkowanie pałacu przez ASP. Mieszczą się tam m.in. rektorat, biblioteka, Wydział Malarstwa i Wydział Grafiki.
W 1950 w rogu pałacowego dziedzińca, od strony ul. Traugutta, ustawiono pomnik Bartolomeo Colleoniego, będący kopią monumentu w Wenecji.