Fryderyk Habsburg, bratanek i spadkobierca Albrechta, po raz pierwszy gościł na polanie w 1880, a z okazji zakończenia budowy zorganizował polowanie, na którym jego żona Izabela ustrzeliła 30 głuszców.
W 1915 w pałacyku gościł cesarz niemiecki Wilhelm II Hohenzollern wraz z feldmarszałkiem Paulem von Hindenburgiem. W tym samym roku w Wiśle pojawił się arcyksiążę Karol Habsburg, późniejszy cesarz austriacki.
Ostatnie polowanie habsburskie odbyło się w 1916 – arcyksiążę Fryderyk ustrzelił wtedy 2 koguty głuszca.
12 listopada 1918 pałacyk został splądrowany i okradziony przez miejscową ludność. W niepodległej Polsce przeszedł na własność Skarbu Państwa (konkretnie opiekę nad nim przejęło Nadleśnictwo Wisła).
W 1924 Urząd Wojewódzki w Katowicach oddał budynek w dzierżawę górnośląskiemu oddziałowi Polskiego Towarzystwa Tatrzańskiego, który po remoncie w 1925 otworzył w nim schronisko Przysłop pod Baranią Górą. Schronisko mogło pomieścić 64 osoby, w tym 24 w hotelowych warunkach. Wytyczono wówczas szlaki turystyczne na Baranią Górę, na polanie powstała też skocznia narciarska „Ślązaczka”, która jednak nie zachowała się do dziś.