Kiedy w roku 1932 Urząd Patentowy wyprowadził się z budynku, a jego miejsce zajęła agencja rządowa United States Civil Service Commission. W 1950 roku budynek został przeznaczony do rozbiórki, ale członkowie rodzącego się wówczas ruchu na rzecz zachowania spuścizny historycznej zdołali w roku 1955 ostatecznie przekonać prezydenta Dwighta Eisenhowera do zmiany tej decyzji. W 1958 roku budynek na mocy decyzji Kongresu Stanów Zjednoczonych został przekazany na rzecz Smithsonian American Art Museum i National Portrait Gallery. W 1965 roku został wpisany na listę National Historic Landmark, a w roku 1966 – na listę National Register of Historic Places. W styczniu 1968 roku po gruntownej, trwającej 4 lata, renowacji budynek został otwarty dla publiczności jako Smithsonian American Art Museum.
W latach 2000–2006 miała miejsce ostatnia jak dotąd renowacja budynku, dzięki której odzyskał on dawną świetność