W 1766 r. zamek od Lubomirskich kupił król Stanisław August Poniatowski. Król polecił przebudować zamek, w związku z czym przebudowano główną bryłę i zbudowano dwie klasycystyczne oficyny od strony Alei Ujazdowskich. Prac jednak nie dokończono, ponieważ król w 1772 roku wstrzymał budowę i skoncentrował się na realizowaniu prac budowlanych w pobliskich Łazienkach Królewskich.
Koszary Gwardii Pieszej Litewskiej W 1784 r. król przekazał nieruchomość miastu z przeznaczeniem na koszary Gwardii Pieszej Litewskiej. Gmach pod kierunkiem Zawadzkiego przebudowano w stylu klasycystycznym.
Szpital Ujazdowski Od 1809 roku zamek był wykorzystywany przez Szpital Ujazdowski.
W 1852 roku budynek kolejny raz przebudowano pozbawiając go wszelkich elementów dekoracyjnych.
Okres po II wojnie światowej W 1954 roku marszałek Konstanty Rokossowski zadecydował o rozebraniu murów zamku. Z budowli zostały tylko piwnice, na których miały stanąć Teatr Domu Ludowego Wojska Polskiego i Wieczorowy Uniwersytet Marksizmu-Leninizmu. Projekt ten nie został jednak zrealizowany. W latach 60. część pozostałych po zamku pawilonów przeznaczono na magazyny.
W 1962 roku przeprowadzono konserwację reliktów przyziemia i piwnic.