Podczas interwencji wojsk cudzoziemskich w czasie powstania bokserów (1900) pałac został poważnie uszkodzony. Zdemolowano wiele pomieszczeń, zniszczono znajdujące się w nich wyposażenie, a ściany pokryto wulgarnymi napisami. Odrestaurowany, po śmierci Cixi w 1908 został z rozkazu cesarzowej-wdowy Longyu opuszczony. Przez następnie kilkadziesiąt lat pałac był systematycznie rozkradany i niszczony. Największych zniszczeń doznał z rąk klik militarystycznych, dowódców Kuomintangu i żołnierzy japońskich.
W latach 50. XX wieku kompleks został ponownie odrestaurowany i udostępniony zwiedzającym.
W grudniu 1998 UNESCO włączył Yiheyuan na Listę Światowego Dziedzictwa Kulturowego i Przyrodniczego Ludzkości.
Wygląd Głównym wejściem do Yiheyuanu jest brama wschodnia, za którą znajdują się dawne rezydencje Cixi. Największa z nich, Pałac Dobroczynności i Długowieczności (Renshoudian), służyła jako miejsce audiencji. Obok niego, nad brzegiem jeziora, wznosi się Pałac Nefrytowych Fal (Yulantang), w którym więziony był Guangxu.