Dawniej budynek główny był połączony z bocznymi oficynami półkolistymi galeriami kolumnowymi.
Historia
Zamek Wolbórz był własnością biskupów kujawskich od średniowiecza i wtedy też powstała pierwsza rezydencja określona w 1418 roku jako castrumWanda Puget, Materiały do dziejów rezydencji w Polsce. Województwo sieradzkie. Tom 1, Zakład Wydawniczy "Sztuka Polska", Warszawa, 1990, ss.63-105. Zamek odbudował w latach 1464–1473 biskup Jakub z Sienna. W 1582 roku wymieniono istnienie wieży i mostu zwodzonego. W XVII wieku w czasach biskupa Jędrzeja Lipskiego zamek opisywano jako obiekt zamknięty murami w czworobok z czterema basztami w narożach oraz otaczającą go fosą. W 1671 roku zamek spłonął, jednak wkrótce go odbudowano. Kolejny pożar zniszczył obiekt w 1767 roku.
Pałac W związku ze zniszczeniem starej rezydencji biskup Antoni Ostrowski podjął decyzję o budowie nowego obiektu w stylu barokowym, który powstał w latach 1768–1773. Projektantem był przypuszczalnie Franciszek Placidi. Wybudowany ówcześnie pałac był użytkowany przez biskupów kujawskich do 1818 roku, gdy przejęła go Komisja Rządowa Wojny Królestwa Polskiego, lokując tutaj w 1834 roku inwalidów wojennych. Następnie dawna rezydencja biskupia stała się koszarami dla dwóch rot rosyjskiego, połockiego pułku piechoty (do 1910 roku).