Gdy w 1812 r. wojska napoleońskie zaczęły opuszczać Madryt, pałac został zbombardowany przez wojska brytyjskie. Grabieże dokonane przez miejscową ludność dopełniły zniszczenia. Dachy pałacu przeciekały, brakowało drzwi i okien, ogrody zarosły dziką roślinnością. Dwa budynki zaadaptowano do nowych potrzeb: w Casón del Buen Retiro urządzono młyn, a w Salón de Reinos – magazyn oliwy i alkoholu. Ostatecznego zniszczenia dokonało wysadzenie przez wojska angielskie fabryki porcelany. W 1816 r. rozpoczęto wyburzanie, a w 1865 r. królowa Izabela II sprzedała działkę państwu.
Ogród thumb|Założenie pałacowe Buen Retiro w 1656 r.
Ogród wraz z parkiem zajmował obszar około 145 hektarów. Autorem projektu ogrodów był Cosme Lotti, scenograf Wielkiego Księcia Toskanii, który przybył do Madrytu w 1626 r. Ogrody pałacowe tworzyły zróżnicowaną mozaikę ogrodów w stylu włoskim, sadów i stawów. Wyróżniały się Ogród Księcia (Jardin del Príncipe), Ogród Króla (Jardin del Rey) oraz Ogród Królowej (Jardin de la Reina), a także Ogród Ośmiokątny (Jardin Ochavado), Kurnik (El gallinero) i Wielki Staw (El Estanque Grande) oraz liczne pawilony.