Od połowy XV do 1 połowy XVI w., zamek stanowił oprawę wienną (zabezpieczenie posagu) polskich królowych: Zofii Holszańskiej, Elżbiety Rakuszanki i Bony Sforzy, z nadania których trzymali je królewscy starostowie. W I poł. XVI w. rozebrano południowy budynek zamkowy i południową kurtynę od strony klasztoru franciszkanów. Z gmachu tego pozostawiono jedynie północny mur magistralny, który pełnił odtąd funkcję południowego muru obwodowegoLeszek Kajzer, Tomasz Olszacki, Zamek w Pyzdrach w świetle badań archeologiczno-architektonicznych, Fontes Archaeologici Posnanienses Vol. 47, Poznań 2011. Przed 1628–1632 rokiem zamek został wyremontowany przez Adama Sędziwoja Czarnkowskiego – wojewodę łęczyckiego i starostę pyzdrskiego. W 1676 zamek został zniszczony przez pożar. Po pożarze w 1768 zamek został prawie całkowicie rozebrany przez Prusaków podczas budowy więzienia w miejscu wschodniego pałacu królewskiego. W miejscu domu północnego zbudowano spichlerz, a w XX w. na miejscu domu północnego i części wschodniego pałacu wybudowano młyn elektryczny. Po 1959 na miejscu domu zachodniego wybudowano parterowy magazyn zakładów włókienniczych „Dziewiarka”.