Lady Barber zmarła, bezpotomnie, cztery miesiące po założeniu Instytutu, pozostawiając cały rodzinny majątek jego powiernikom, aby umożliwić budowę nowego budynku, rozwój kolekcji sztuki oraz finansowanie koncertów publicznych.
Budynek mały|left|Fragment galerii Budynek Instytutu Barbera został zaprojektowany w stylu art deco przez Roberta Atkinsona, jednego z czołowych brytyjskich architektów lat 20. i 30. Projekt budynku powstał w wyniku bliskiej współpracy Atkinsona i pierwszego dyrektora Instytutu Barbera, profesora Thomasa Bodkina.
Budynek został wzniesiony w latach 1936–1939 na terenie w pobliżu East Gate Uniwersytetu w Birmingham. Do jego budowy użyto kamienia Derby Dale i różnobarwnej cegły. Na czas budowy większość obrazów została wypożyczona (w celu wystawienia lub przechowania) londyńskiej National Gallery. Odbyło się to dzięki wsparciu ówczesnego dyrektora National Gallery, Kennetha Clarka. Budynek został otwarty przez królową Marię w 1939 roku. W 1946 roku budynek otrzymał brązowy medal od Royal Institute of British Architects. Jest rozplanowany wokół centralnego audytorium muzycznego, otoczonego korytarzami. Na parterze znajdują się biura, sale wykładowe i biblioteki dla wydziałów muzyki i historii sztuki. Galerie zajmują tę samą przestrzeń na pierwszym piętrze.