Został osadzony na zamku w 1550 r. za propagowanie unitarianizmu. Z pomocą przyjaciół wśród których był Andrzej Trzecieski zdołał jednak zbiec z zamku i już w dwa lata po uwięzieniu wydać dzieło o reformie Kościoła w Polsce, rozpoczęte jeszcze w więzieniu lipowieckim. W celach zamku więziony był też Walenty z Krzczonowa, a porwany przez ludzi biskupa Marcin Krowicki został uwolniony przez szlachtę w czasie transportu na zamekJanus Tazbir, Państwo bez stosów i inne szkice. Kraków 2000, s.48, 61..
Rozpoczęte już w XV w. prace adaptacyjne dla celów więziennych zamku nabrały rozmachu w XVI w., kiedy to zaczęto powiększać pomieszczenia przeznaczone na cele. Spłycono także fosę otaczającą zamek i postawiono w niej kamienne filary pod most, a w samym zamku przebudowano nieco ciągi komunikacyjne i schody. Były to chyba najbardziej zaawansowane prace budowlane na zamku w tym okresie. W dobie pokoju i stabilizacji tego regionu nie było konieczności, aby militarnie wzmacniać zamki. Większość tych prac prowadzonych była zapewne w pierwszej połowie XVI wieku z inicjatywy biskupa Jana Konarskiego (1503-1525) oraz w latach 50. – Andrzeja Zebrzydowskiego. Tak jak poprzednio o ich roli w rozbudowie zamku świadczą wmurowane tarcze herbowe na terenie zamku.