Po rozpoczęciu okupacji niemieckiej podczas II wojny światowej w 1939 biblioteka Koła Towarzystwa Szkoły Ludowej została zamknięta, jej zbiory przeznaczono na makulaturę, a część osób zaangażowanych w działalność Towarzystwa, w tym kierownika biblioteki Józefa Ziębę, wywieziono do obozów zagłady. 18 stycznia 1941 jej miejsce zajęła biblioteka ludowa przeznaczona dla ludności narodowości niemieckiej, która stanowiła jedną z najpiękniejszych tego typu placówek na terenach przyłączonych do Rzeszy. Do aktywności prowadzonych przez tę instytucję należało m.in. prowadzenie regularnych wieczorków odczytowych („Leseabende”).
Prace w celu reaktywacji działalności polskiej biblioteki z siedzibą w kamienicy rozpoczęto w kwietniu 1945. Jej ponownego otwarcia jako Biblioteki Miejskiej dokonano w maju 1945, co było możliwe dzięki zbiórce zachowanych książek, w tym pochodzących z biblioteki Towarzystwa Szkoły Ludowej, przeprowadzonej wśród mieszkańców Żywca przez Halinę Grządziel i Helenę Bidziuk, dawne członkinie Towarzystwa Szkoły Ludowej. Następnie biblioteka została przeniesiona do pomieszczeń w budynku Ratusza.