W związku z zadłużeniem „Siejby” na rzecz Centralnej Kasy Spółek Rolniczych w Krakowie, które nie było przez nią spłacane, nastąpiło bankructwo spółdzielni, a będąca jej własnością kamienica została zlicytowana i zakupiona w kwietniu 1939 przez Urząd Miejski.

W 1949 Zarząd Miejski w Żywcu pozyskał dotację Ministerstwa Kultury i Sztuki w celu remontu budynku „Siejby” i dostosowania go na nową siedzibę Muzeum Ziemi Żywieckiej. Prace remontowe zainaugurowano w 1950 i trwały one przez kolejne lata. W 1956 uznano, że „Siejba” grozi zawaleniem, a Miejska Rada Narodowa przyjęła uchwałę o jej rozbiórce. Decyzja ta została jednak zablokowana przez wojewódzkiego konserwatora zabytków. Ostatecznie wszystkie prace w budynku zostały zakończone w 1960 po trwającym w sumie 10 lat remoncie, a otwarcie znajdujących się tam wystaw muzeum odbyło się latem 1960.

W 2005 siedziba muzeum został przeniesiona do Starego Zamku. Rada Miejska wraz z burmistrzem podjęła wówczas decyzję o przeznaczeniu „Siejby” na potrzeby siedziby Żywieckiej Biblioteki Samorządowej, działającej w tym czasie przy ul. Dworcowej.