Historia Historia obecnego budynku „ratusza” jest dość przejrzysta w rodzinie Kantorowskich rozsianych po całym globie ziemskim. Jak pisze autor Adam Boniecki w Herbarzu Polskim, „Kantorowski Maciej z żoną, Magdaleną Fabrycy, oblatowali w 1650 roku przywilej królewski na folwark „Olszańskie” w Żywiecczyźnie (Gr. Oświęcims, s. 69 f. 479)”Boniecki Adam (1906) Herbarz Polski, cz. I., Wiadomości historyczno-genealogiczne o rodach szlacheckich. Ułożył i wydał Adam Boniecki, Tom IX, Warszawa, Skład główny Gebethner i Wolf w Warszawie, s. 117.. W kronice – Chronografii albo Dziejopisie Żywieckim Andrzeja Komonieckiego byłego pierwszego burmistrza i dziedzicznego wójta Żywca zachowało się, że „W roku 1632 harnicy starosty lanckorońskiego Zebrzydowskiego, któremu szlachta zatorska i oświęcimska zleciła obronę przed zbójnikami przybyli do państwa żywieckiego zapewne w poszukiwaniu zbójników. Zatrzymali się w Żywcu i tam w kamienicy Macieja Kantorowskiego popili się na winie, gdzie hałas i gwałt czynili, bowiem tegoż Macieja Kantorowskiego naprzód ubili i skrwawili, aż uciekł do Krzysztofa Mrzygłodowicza, pisarza miejskiego, za którym tamże wpadli i tego pisarza przy Księżach dwu utłukli i pałaszem w głowę uderzyli.