Domek jest pozostałością dawnej architektury ogrodowej, murowany na rzucie ośmioboku i dwukondygnacyjny.
W pierwszej połowie XIX z inicjatywy Adama Wielopolskiego i jego ogrodnika, Jana Merka, znacznie przekształcono założenie parkowe.
W 1838 park przeszedł na własność rodziny Habsburgów. Wówczas jego terytorium poszerzono w kierunku południowo-zachodnim.
Na przełomie XIX i XX wieku oraz w latach 1930-1936 wprowadzono nowe elementy dekoracyjne; część z nich projektowała angielska architekt Brenda Colvin, a realizowała Kit Beckh. Park o układzie geometrycznym został przekomponowany w duchu angielskich założeń krajobrazowych, wtedy to wspomniany Domek Chiński znalazł się na wyspie. Powstała wówczas polana widokowa, zainstalowano basen z fontanną, pergole i rozarium. Drewniane mostki nad kanałami zastąpiono kamiennymi. Na dziedzińcu zewnętrznym między Pałacem Habsburgów a Starym Zamkiem wybudowano ozdobną, żelazną studnię, wykonaną przez Juliana Rybarskiego z Żywca.
W 2007 na terenie parku została oddana do użytku stajnia miejska wraz z mini-zoo.
W 2009 roku zarówno park, jak i Pałac Habsburgów przeszły gruntowną rewitalizację.