Zamek musiał być już na tyle obszerny, że mógł stanowić miejsce pobytu króla Władysława Jagiełły i jego dworu w latach 1386, 1410, 1420, 1423, 1424, 1432.
Faza renesansowa W 1501 roku na zamku zatrzymał się król Aleksander Jagiellończyk, a w roku 1511 król Zygmunt Stary. Zamek odnowił na początku XVI wieku biskup Jan Konarski, a na renesansową rezydencję przebudował go około roku 1560 biskup Filip Padniewski, ozdabiając mury i wieżę bramną attykami, a stołp nakrywając wysokim reprezentacyjnym hełmem. W XVII wieku zamek rozbudował biskup Marcin Szyszkowski. Rozebrano budynki gotyckie i wzniesiono w ich miejscu zabudowania o planie regularnym. W miejscu przedzamcza zbudowano zamek dolny. Zbudowano mury kurtynowe i dwie basteje ze strzelnicami kluczowymi oraz dzieło obronne od północy. W 1588 roku pożar zniszczył zamek, w związku z czym ponownie go zmodernizowano.