1901-1920 W 1901 r. miasto otrzymało znaczną kwotę z zapisu w testamencie Gustava Roethego z Berlina, byłego wydawcy poczytnej grudziądzkiej gazety Der Gesellige, z przeznaczeniem na budowę siedziby muzeum. Dzięki temu, z poparciem władz prowincjonalnych w Gdańsku i ministerialnych w Berlinie, które przyznały dalsze dotacje oraz dzięki darowiznom prywatnym, w latach 1909–1911 przy ul. Legionów wzniesiono budynek mieszczący pod jednym dachem 3 placówki kulturalne: muzeum (odgrywające główną rolę), bibliotekę (niem. Stadtbibliothek Graudenz) i archiwum miejskie, oddane do użytku w 1912 r. Powstała elegancka, piętrowa willa w ogrodzie, utrzymana w modernistycznej odmianie klasycystycznego baroku, z wysokim mansardowym dachem i z ozdobnym portalem. Księgozbiór miał charakter niemiecki.
1921-1945 Po powrocie Grudziądza do Polski od 1921 r. biblioteka i muzeum podlegały Towarzystwu Czytelni Ludowych, które już wcześniej prowadziło działalność w mieście od 15 października 1913 r. w gmachu "Bazaru". W 1939 r. liczyła 12 tysięcy woluminów i posiadała 2 filie. Ponadto, w latach 1921–1933 w gmachu głównym mieściła się Pomorska Szkoła Sztuk Pięknych prowadzona przez prof. Wacława Szczeblewskiego, później przeniesiona do Gdyni oraz - pod kierunkiem honorowego kustosza muzeum, ks. dr.