Potem zarządzała nim rodzina Flemingów, która w roku 1406 (lub 1402) sprzedała go księciu Bogusławowi VIII, pretendentowi do stolca biskupa kamieńskiego, który miał go do roku 1436, gdy kapituła ponownie objęła warownię, spłaciła długi, przez co w roku 1500 zamek przeszedł na ręce kapituły i stał się rezydencją biskupią, z krótką przerwą do roku 1534, gdy zamek wszedł w skład dóbr książęcych.
Wieża była znana jako lub albo (z języka niemieckiego oznacza to chwytać lub łapać). Nazwa ta przylgnęła do niej z powodu działalności właścicieli, którzy trudnili się rozbojem. Złapanych kupców i wędrowców przetrzymywano w wieży do momentu zapłacenia okupu. Z kolei wzgórze zamkowe nazywano ze względu na legendę, według której rycerze-rozbójnicy z zamku umieścili w pobliżu podziemny dzwonek. Dzwonek ten dzwonił, gdy kupcy lub inni podróżni przejeżdżali traktem, co pozwalało rycerzom-rozbójnikom na zaatakowanie i ograbienie ich, a następnie przetrzymywanie ich w wieży dla okupu. Zamek w Golczewie był jednym z największych i najlepiej usytuowanych zamków na Pomorzu. Nazwa wieży sugeruje, że więzienie, w którym przetrzymywano ofiary po najeździe, znajdowało się głęboko pod ziemią. Według innej legendy zamek w Golczewie łączył z katedrą w Kamieniu Pomorskim podziemny tunel.