Za zamkiem od strony zachodniej znajdował się gospodarczy przygródek do którego prowadziła boczna furta.
W XVI wieku zamek stanowił rezydencję wielkopolskich dygnitarzy: starosty generalnego, kaliskiego wojewody, burgrabiego, a okresowo także dla polskich królów. W 1792 zamek popadł w ruinę podczas pożaru Kalisza. W 1803 roku wypalone ruiny zamku wraz z przylegającym placem zostały oddane w posiadanie Fryderykowi Wiedermanowi. Tenże przekazał je chirurgowi Ernestowi Fryderykowi Leonhardowi, który w 1804 roku sprzedał ruiny zamku winiarzowi Jerzemu Myszkiewiczowi, a następnie pozostałości zamku rozebrano na budulec. W 1819 roku na jego miejscu zbudowano szkołę. Obecnie jedyną pozostałością zamku są odkryte przez archeologów fundamenty na terenie I Liceum Ogólnokształcącego im. Adama Asnyka przy zbiegu ulic Grodzkiej, Zamkowej oraz placu Jana Pawła II w centrum miasta. Na przełomie 2024 i 2025 roku ruiny przeszły renowację, dzięki którym są lepiej wyeksponowane. Ponadto w pobliżu stanęła makieta zamku oraz tablice informacyjne o dawnych fortyfikacjach.