Do znanych nam biskupów krakowskich, którzy aktywnie inicjowali prace na zamku, należą Wojciech Jastrzębiec (1412–1423) i Zbigniew Oleśnicki (1423–1451). O wkładzie tych postaci w rozbudowę zamku świadczą m.in. widoczne do dziś ich tarcze herbowe w ścianach dziedzińca zamku górnego. W 1444 r. Zbigniew Oleśnicki, wystawił w Lipowcu przywilej dla Księstwa siewierskiego, będącego nowym nabytkiem biskupstwa krakowskiego.
W XV w., zamek w dalszym ciągu pełnił funkcję strażniczą oraz rezydencjonalną biskupów krakowskich, jednakże rozszerzono ją na więzienie dla duchownych. Nowa rola, jak przypadła budowli, wiązała się z adaptacją na cele więzienne wielu pomieszczeń zamkowych, którą zapewne rozpoczęto w tym okresie. Do bardziej znanych więźniów Lipowca w tym stuleciu należał opat Mikołaj z Buska, uwięziony tu w 1437 r. Rola zamku lipowieckiego jako więzienia kościelnego wzrosła jednak dopiero od XVI w., co niewątpliwie związane było z rozwijającą się reformacją. Nie więziono tutaj tylko innowierców, ale także duchownych, za przestępstwa pospolite, jak np. braci zakonnych – franciszkanów z Krakowa – za zabójstwo Alberta Fontiniego – komisarza franciszkańskiej prowincji czesko-polskiej. Do najznaczniejszych więźniów Lipowca należał jednak Franciszek Stankar, Włoch z pochodzenia, wykładowca Akademii Krakowskiej.