Po roku 1761, w którym znaczną część miasta zniszczył wielki pożar, większość starych fortyfikacji uległa zniszczeniu. Podobnie Dom Macieja znalazł się z czasem w bardzo złym stanie. W 1798 r., gdy miejscowe gimnazjum katolickie musiało opuścić swoją dotychczasową siedzibę za kościołem katedralnym, zaproponowano mu pomieszczenia w "Domu Macieja". W odpowiedzi dyrektora gimnazjum znalazło się wtedy stwierdzenie, że owa "opuszczona wieża (...) będzie właściwym schronieniem nie dla szkoły, tylko dla sów". Ponownie w roku 1847 miasto planowało (też bez powodzenia) w budynku umieścić szkołę, tym razem ludową. W latach 80. XIX w. w Bańskiej Bystrzycy pojawił się pomysł założenia muzeum. W latach 1907–1909 obiekt poddano szeroko zakrojonemu remontowi, po którym w jego wnętrzach została otwarta pierwsza ekspozycja Muzeum Miejskiego w Bańskiej Bystrzycy. Gdy w latach 50. XX w. ekspozycja została przeniesiona do tzw. Domu Thurzonów (słow. Thurzov dom) budynek na kilkadziesiąt następnych lat zamienił się w magazyn muzealny. Rozległa rekonstrukcja Domu Macieja i Baszty Górniczej, która miała miejsce w latach 2006-2009, pozwoliła na powrót zbiorów na ich pierwotne miejsce. Dzięki tej ekspozycji, poświęconej historii miasta i uroczyście otwartej 15 października 2009 r., obecne Muzeum Środkowosłowackie (słow.