W 1808 zamek dostał się na własność Alberta Sasko-Cieszyńskiego, a w 1838 został wykupiony przez Habsburgów, którzy w tym okresie stopniowo nabywali ziemie państwa żywieckiego. Habsburgowie byli właścicielami Starego Zamku do wybuchu II wojny światowej. Przedsięwzięte przez nich remonty z pierwszej połowy XIX w. miały charakter zachowawczy z uwagi na znaczny stan zaniedbania zamku, na który zwrócono uwagę m.in. w inwentarzu sporządzonym w 1790. W 1870 miał miejsce pożar zamku. Architektem remontu, który nastąpił po tym pożarze, był Karol Pietschka; przebudował on założenie w stylistyce historyzmu. Wówczas w zamku mieściły się urzędy i lokale urzędników.
W latach 30. XX wieku renesansowy okres historii zamku był obiektem badań prowadzonych przez Jerzego Szablowskiego. Podczas okupacji w obiekcie urzędowali Niemcy. Po wojnie zamek przeszedł na własność miasta; ulokowano w nim m.in. archiwum, Dom Kultury i bibliotekę miejską. W latach 60. prowadzone były prace konserwatorskie i badania archeologiczno-architektoniczne obiektu (prowadzili je Andrzej Swaryczewski i Teofil Dębowski). Dalsze badania archeologiczne, prowadzone przez Marię Bicz-Suknarowską, miały miejsce w latach 1976-1978 i 1985-1987.