Przez następnych 39 lat budynek pełnił rolę dworca kolejowego, jednak z powodu elektryfikacji kolei długość pociągów znacznie się zwiększyła i nie mieściły się one już na dworcu d’Orsay. Został więc zamknięty i od tego czasu zmieniało się jego przeznaczenie – mieścił się tam teatr Renault-Barrault, sale domu aukcyjnego Drouot, służył także jako tło w wielu filmach (m.in. w Procesie Orsona Wellesa).
Propozycja wyburzenia budynku napotkała na sprzeciw społeczeństwa, które nie chciało by dworzec podzielił los Les Halles. W 1978 roku wpisano go na listę zabytków i tym samym uniemożliwiono jego wyburzenie. Kilka lat wcześniej pojawił się też pomysł, by dawny dworzec przekształcić w muzeum sztuki XIX wieku. Prace nad realizacją tej koncepcji rozpoczęły się w 1979 roku, kierowała nimi architekt Gae Aulenti. Uroczystego otwarcia Musée d’Orsay dokonał prezydent François Mitterrand 1 grudnia 1986 roku. Dla zwiedzających zostało ono udostępnione 9 grudnia 1986 roku.