Ówczesny dyrektor muzeum, Aron Borelius zakupił wówczas dużą liczbę prac szwedzkich modernistów, takich jak: Gösta Adrian-Nilsson, Isaac Grünewald, Sigrid Hjertén i Siri Derkert.
Budynek Von Schmalensee zaprojektował budynek nowoczesny i funkcjonalny, z pomieszczeniami przeznaczonymi do ekspozycji dzieł sztuki oraz do urządzania wystaw okresowych. Światło dzienne przenika do wnętrza przez rząd okien zbudowanych nad podstawą dachu, a następnie rozprasza się równomiernie poprzez sufit zbudowany z matowego szkła. Światło dzienne uzupełnia oświetlenie elektryczne. W 1964 roku von Schmalensee zaprojektował dobudówkę z salą wykładową, zwaną Harlequin, funkcjonującą również jako kino. Muzeum stało się w pełni galerią sztuki, gdy w 1981 roku przeniesiono zbiory historyczne do nowych pomieszczeń na terenie Industrilandskapet. W 1997 roku odnowiono budynek muzeum, instalując w nim między innymi system klimatyzacyjny służący zabezpieczeniu zbiorów.