Jednakże w 1947 został przejęty przez Ministerstwo Spraw Zagranicznych, a następnie został przekazany Urzędowi Rady Ministrów. Był letnią rezydencja premierów PRL i III Rzeczypospolitej do momentu zwrotu rodzinie Morawskich w 2008 rokuZwrot pałacu rodzinie Morawskich.. Wolny czas spędzali tu m.in. Władysław Gomułka, marszałek Rokossowski, Jerzy Urban czy Jerzy BuzekPałac w Małej Wsi oddany.. Szczególnie upodobała sobie to miejsce żona premiera Józefa Cyrankiewicza, Nina Andrycz, która kazała wybudować specjalnie dla siebie łazienkę w pałacu. W okresie od października 1996 do końca kwietnia 1998 roku w murach pałacu, na zaproszenie prezydenta Rzeczypospolitej Aleksandra Kwaśniewskiego, zlokalizowano Akademię Mozartowską.
Architektura Architektem pałacu był Hilary Szpilowski, który był bardzo popularnym i cenionym architektem na południowym Mazowszu pod koniec XVIII wieku. Zaprojektował bardzo podobne do pałacu w Małej Wsi budynki pałaców w Słubicach oraz Walewicach. W piwnicy pałacu znajduje się kamień węgielny wmurowany przez Bazylego Walickiego i jego żonę, Różę z Nieborskich z oznaczeniem 1783 roku jako początku budowy. Pałac w Małej Wsi został wybudowany w stylu klasycystycznym na planie prostokąta. Jest dwupiętrowy, podpiwniczony, ozdobiony od przodu portykiem podpartym na ośmiu kolumnach z podjazdem.