Dla Kazimierza Jagiellończyka zamek w Kole był jedną z najważniejszych rezydencji.
W latach 1476–1481 zamek był siedzibą księżnej sochaczewskiej Anny, podczas jej obecności w Kole mieszkała na zamku wraz ze starostą kolskim i swoim dworem.
W 1506 roku starosta Jarosław Sokołowski z Wrzącej przeprowadził renowację zamku. W 1513 roku na zamku przebywał król Zygmunt Stary. Do 1577 roku na zamku rezydowali starostowie kolscy, którzy opuścili go jednak na rzecz Kościelca. Po opuszczeniu zamku przez starostów zaczął on popadać w ruinę, chociaż możliwe, że przez jakiś czas był jeszcze zamieszkany. Co najmniej do drugiej połowy XVI wieku na zamku funkcjonował sąd starościński.
W 1655 roku Erik Dahlbergh określał już na swoim planie kolski zamek jako castellum destructum. Za panowania Augusta III Sasa Sejm darował ruiny zamku kolskim bernardynom, którzy użyli materiału z zamku do odbudowy zniszczonego kościoła, rozebrano wtedy najprawdopodobniej wieżę mieszkalną, lecz prace zostały przerwane w związku z trudnościami w pozyskiwaniu materiału.