W kolejnych latach miejscowość przechodziła w ręce różnych właścicieli. W 1367 roku Wesnowie sprzedali prawo patronatu kościelnego Witkonowi Schapcze. W 1369 roku dobra należały do Anny i Elżbiety Stechau, a w 1375 roku Jan Hacke odsprzedał swoje udziały Mikołajowi Walditzowi. W 1397 roku Konrad i Jost Walditz sprzedali folwark zwany „Bysschof” Kuntschowi von der Warthe. W latach 1385–1388 udział we wsi miała Katarzyna Hacke wraz z synami: Janem, Konradem i Henrykiem. Jednym z udziałowców był również Jan Redern, jedyny przedstawiciel lokalnej elity rycerskiej, choć według badaczy nie rezydował on w Żeliszowie-Ustroniu, lecz w Siedlęcinie i później we Wleniu.
Ostatnim znanym właścicielem wzmiankowanym w XV wieku był Konrad Hoberg, wymieniony w dokumentach z 1492 roku.
Przeznaczenie Według badaczy, w tym Józefa Kaźmierczyka i Ryszarda Kołomańskiego, grodzisko mogło pełnić funkcję ochronną dla pobliskich pól górniczych. Istnienie szybów wydobywczych na południe, wschód i zachód od grodziska potwierdził w 1961 roku Andrzej Kudła. Były to pola szybowe związane najprawdopodobniej z eksploatacją złota.