W 1888 wzniesiono trzypiętrową halę od strony Mänhardtgasse (współcześnie ulica Sukiennicza). Budynek, w którym znajduje się obecnie muzeum, powstał w dwóch etapach. Północną jego część zbudowano w 1900 na działce odkupionej od Bielitz-Bialaer Leseverein (Bielsko-Bialskie Towarzystwo Czytelnicze) z przeznaczeniem na nową tkalnię. W latach 1906–1907, po zakupie od Ferdinanda Nipsa kolejnej sąsiadującej z fabryką nieruchomości, został on rozbudowany w kierunku południowym. thumb|Detal elewacji i wejście do muzeum Pod koniec lat 30. XX wieku fabryka, której polska nazwa brzmiała wtedy Karola Büttnera Synowie, zatrudniała 150 pracowników i zajmowała znaczną część kwartału pomiędzy ulicą Piłsudskiego (współcześnie 1 Maja), Sukienniczą oraz placem Żwirki i Wigury. Prudukowano w niej sukna, szewioty i kamgarny. Dzisiejszy budynek muzealny znajdował się w środku kompleksu, otoczony innymi zabudowaniami. W 1937 wzniesiono w sąsiedztwie nową halę warsztatową, dokonano także nadbudowy jednej z oficyn, gdzie współcześnie mieszczą się biura muzeum.