Budynek nie został zniszczony podczas I i II wojny światowej.

30 maja 1964 kaplicę podczas wizytacji kanoniczej odwiedził arcybiskup krakowski Karol Wojtyła.

W 1964 w związku z budową Jeziora Żywieckiego kaplica została wyburzona poprzez wysadzenie, ponieważ linia brzegowa powstającego zbiornika dosięgała jej podstawy. Źródło św. Wita zostało zachowane, jednak przeniesione zostało wyżej znajdującego się za nim stoku i pozostaje w dalszym ciągu udostępnione oraz wykorzystywane.

Wyposażenie kaplicy Do zachowanego wyposażenia znajdującego się dawniej w kaplicy i współcześnie wchodzącego w skład zbiorów Muzeum Miejskiego w Żywcu należały: Figura św. Barbary – późnogotycka drewniana rzeźba, powstała około 1510 i posiadająca wysokość 68 cm, wydrążona z tyłu i pokryta nowszą polichromią olejną, która zasłoniła oryginalną. Figura przedstawia stojącą św. Barbarę, trzymającą w lewej ręce kielich, a prawą podtrzymującą połę okrywającego ją płaszcza. Przy świętej umieszczone zostało przedstawienie wieży, w której była więziona. Figura znajdowała się na szczycie ołtarza. Figura św. Katarzyny – późnogotycka z około 1510, o wysokości 69,3 cm. Wykonana z drewna i wydrążona w części tylnej. Jej pierwotna polichromia została przykryta przez późniejszą, olejną. Ukazuje św.