Zamek składał się wtedy z wieży oraz gotyckiego domu i otaczających całość murów obwodowych.
W późniejszym okresie od południa dobudowano wieżę obronną, wysuniętą poza obręb murów zamku i miasta. Od czasów Władysława Łokietka budowla stanowiła stałą siedzibę starostów generalnych Wielkopolski. W 1434 Władysław II Jagiełło zlecił przebudowę bardzo zniszczonej już wieży. Na początku XVI wieku zamek gotycki nie spełniał już standardów rezydencji monarszej, dlatego król Zygmunt Stary w 1513 roku zatrzymał się w rezydencji biskupa na Ostrowie Tumskim.
Na początku XVI w. starosta generalny Wielkopolski Łukasz Górka rozpoczął generalną przebudowę zamku. Z zapisków kronikarskich wynika, że budynki wzniesiono praktycznie od nowa. Podczas pożaru miasta w 1536 spłonął także jeszcze nie wykończony zamek.
W latach 1686–1712, był miejscem najczęściej wykorzystywanym przez Komisje Skarbową Poznańską do prowadzenia sesji. W 1712 r. ze względu na zniszczenia wojny północnej i postępującą ruinę zamku postanowiono zmienić miejsce posiedzeń.