W 1524 roku dwór uległ pożarowi i został dwa lata później odbudowany w stylu renesansowym przez biskupa Jakuba Salzę. Następnie, w 1582 roku, z inicjatywy biskupa Marcina Gerstmanna wzniesiono wieżę. Ufortyfikowany zamek nie dawał możliwości dalszej rozbudowy, więc w 1615 roku wzniesiono obok nową budowlę, określaną, ze względu na swoje przeznaczenie, jako Sala Przyjęć.
W końcu XVII wieku, poza obrębem dotychczasowego dworu, od strony miasta, powstał kolejny budynek, zwany Budynkiem Głównym, który stanowił reprezentacyjną część siedziby biskupiej przed ukończeniem pałacu. Zamek biskupi, który na przestrzeni dziejów uzyskał nowożytną rozbudowę, przetrwał do 1824 roku. Choć średniowieczny dwór już nie istnieje, to nazwą tą określa się obecnie zespół budynków powstały na jego miejscu.
Poczynając od XVI wieku dotychczasowa rezydencja przestawała powoli zaspokajać wzrastające potrzeby związane z funkcjonowaniem kurii. Zarówno odbudowany po pożarze zamek, jak i Budynek Główny okazały się niewystarczające w stosunku do coraz większych wymagań biskupów i ich aspiracji. Planowano wzniesienie nowej budowli na wzór pałaców rzymskich.