tu na dole był zrąb dębowy dla więźniów z kratą żelazną, izby i komory, a dach gontami pobity”. Biała Wieża we wcześniejszej fazie była basztą stojącą przy murze miejskim. Jej nazwa pochodziła od pokrywającego ją tynku, co wyróżniało ją od otaczającej zabudowy. Jej górną część wieńczyła renesansowa attyka. W XVI i XVII wieku w wieży mieściło się więzienie.
Kolejne prace modernizacyjne prowadzono przypuszczalnie z inicjatywy kolejnych starostów: Piotra Firleja z Dąbrownicy i Jana Lutomierskiego.
Zamek został spalony w 1655 roku przez Szwedów podczas Potopu, a później wielokrotnie remontowany i przebudowywany.
Ostatni starosta Aleksander Potkański w 1787 roku dokonał modernizacji zamku na dwór wygodniejszy i archiwum. Zburzono wówczas piętro Domu Wielkiego, a z dwóch sal zrobiono 10 pokoi. Wyremontowano też jedną wieżę o dwóch piętrach.