Według niego głównym celem budowy grodu, która mogła mieć miejsce jeszcze w czasach Bolesława Chrobrego, była obrona doliny rzecznej Wisłoki. Potwierdza to stara, średniowieczna nazwa Krajowic: Krajowski bród – sugeruje to istnienie w tym miejscu brodu, czyli miejsca, w którym bezpiecznie można się przeprawić przez rzekę. Zamek Golesz miał więc bronić tego miejsca przed atakiem nieprzyjaciela.
Kolejny spór o zamek miał miejsce za czasów opata Jakóba (1335-1338). Iwan z Klecia, brat Dymitra z Goraja, już wcześniej skonfliktowany z opactwem, zajął Golesz i przyłączył go do swojego majątku. Benedyktyni domagali się zwrotu zamku, co udało się dopiero dzięki wstawiennictwie krewnych Iwana, Czuryłłów.
mały|Ruiny zamku na ilustracji M.B. Stęczyńskiego z 1847 r. W 1474 r. miał miejsce najazd wojsk węgierskich, dowodzonych przez Tomasza Tharczaya, które zdobyły i zniszczyły wiele ważnych okolicznych miast. Budowla, jako jedna z nielicznych, zdołała się obronić przed atakiem, jednak doznała poważnych zniszczeń i miała zostać odbudowana z inicjatywy opata Andrzeja Ozgi, w latach 1477–1487. Przez pewien czas zamek stanowił siedzibę starosty królewskiego (starosty niegrodowego jasielskiego) i najwyższego sądu prawa magdeburskiego (sądu leńskiego), m.in.