Zamek uległ zniszczeniu w czasach potopu szwedzkiego.
Pod koniec XIX wieku teren wraz z ruinami przekazano powstałemu Towarzystwu Gimnastycznemu „Sokół”, które zainicjowało budowę Pałacyku w latach 1904–1906, według projektu Wincentego Koczarkiewiczahttps://skarby.bliskokrakowa.pl/41-sbk-palacyk-sokol, dostęp: 2021-02-12 r.. W okresie międzywojennym w Pałacyku działał teatr, kino oraz strzelnica. Po wojnie budynek „Sokoła” stał się siedzibą klubu sportowego „Skawinka”, a po remoncie w latach 80. XX w. swoje miejsce znalazło tu Centrum Kultury i Sportu. W 1927 roku wokół Pałacyku utworzono Park Miejski im. Józefa Piłsudskiegohttp://skarby.bliskokrakowa.pl/39-sbk-park-miejski-im-jozefa-pilsudskiego, dostęp: 2021-02-12 r.. Pałacyk i otaczający go park wpisane są do rejestru zabytków.
Budynek Pałacyku „Sokół” jest obecnie siedzibą Działu Realizacji Projektów Kultury CKiS. Mieści się w nim sala teatralna, w której organizowane są koncerty, spektakle teatralne, prezentacje artystyczne, warsztaty muzyczne itp. W Pałacyku odbywają się też m.in. comiesięczne spotkania z muzyką poważną w ramach Koncertów z Akademią, cykliczne spektakle teatru „Maska” czy coroczny Skawiński Tydzień Teatralny.