Powstał wtedy fronton z klasycystycznym portykiem od strony mostu oraz ogród wokół pałacu. W drugiej połowie XIX i na początku XX wieku pałac był kilkukrotnie remontowany, m.in. w latach: 1886. W 1894 r. do pałacu od wschodu dobudowano wg projektu Antoniego Olszakowskiego budynek konsystorza. W latach 1916–1920 w lewym skrzydle pałacu miała siedzibę szkoła im. ks. Jana Długosza.
Podczas wojny polsko-bolszewickiej pałac został ostrzelany przez wojska bolszewickie w dniu 17 sierpnia 1920 roku co doprowadziło do pożaru i poważnego zniszczenia budynku.
Wypalony pałac został odbudowany w latach 1923-1924 wg projektu architekta Józefa Seredyńskiego, a następnie architekta Adolfa Buraczewskiego. Podczas prac rozebrano ruinę budynku konsystorza z 1894 roku. Poświęcenie pałacu po odbudowie odbyło się 28 grudnia 1924 rokuKronika Dyecezji Kujawsko-Kaliskiej, pod red. ks. R. Filipskiego, 1924, s. 470–471.. Podczas odbudowy zmieniono wygląd frontu od strony Wisły wprowadzając w miejsce barokowego wysuniętego środkowego ryzalitu nowy portyk z trójkątnym tympanonem.
Pałac Biskupi został wpisany do rejestru zabytków 25 listopada 1985 roku.