1 września 1904 w Żywcu działalność rozpoczęła szkoła realna. Z uwagi na pozostawanie wówczas jej docelowej siedziby w budowie, zajęcia rozpoczęte zostały w prywatnym domu zlokalizowanym na Rudzy, na rogu współczesnych ulic 3-go Maja i Małej. Od 1 września 1905 placówka dokonała wynajęcia całego piętra kamienicy „Trojanówka”, dokąd przeniesiono prowadzenie lekcji. Szkoła realna funkcjonowała na piętrze kamienicy przy ul. Kościuszki 20 do końca roku szkolnego w 1909, a 1 września 1909 jej uczniowie rozpoczęli naukę w nowo powstałym gmachu przy ul. Zielonej 1.
3 maja 1927 w kamienicy „Trojanówka” przez Koło Towarzystwa Szkoły Ludowej im. Adama Asnyka w Żywcu została uruchomiona Czytelnia Towarzystwa Szkoły Ludowej. Zajęła ona w budynku cztery pomieszczenia, gdzie utworzona została biblioteka, czytelnia, pokój posiedzeń i zebrań Koła Towarzystwa Szkoły Ludowej, jak również pokój dla gospodarza placówki.