Po objęciu tronu przez Karola III władca oficjalnie zamieszkał w pałacu (1759 r.), jednak za nim nie przepadał; wolał mieszkać w innych rezydencjach wokół miasta, a gdy nowy pałac królewski w miejscu Alcazaru został ukończony, przeniósł się do niego (1764 r.).
Pałac Buen Retiro powoli tracił funkcje dworskie: jego obrazy zostały rozmieszczone w innych rezydencjach królewskich, a w 1767 r. po raz pierwszy jego ogrody otwarto dla szerszej publiki. Równolegle z upadkiem pałacu nastąpiły ważne zmiany w jego otoczeniu, które przybrało formę Salón del Prado (dzisiejsze Paseo del Prado), przy którym ufundowano różne instytucje naukowe, takie jak: Królewski Ogród Botaniczny (1781), Królewski Gabinet Historii Naturalnej (1785, obecne Muzeum Prado), czy Królewskie Obserwatorium (1790). W początku XIX w. rezydencję można było zwiedzać za opłatą (podobnie jak wiele innych niezamieszkałych rezydencji królewskich w Europie). Kiedy w marcu 1808 r. do Madrytu wkroczyły wojska napoleońskie, Ferdynand VII urządził im kwatery w Pałacu Buen Retiro. Józef I Bonaparte rozpoczął fortyfikację tego miejsca.