Badania archeologiczne wykazały, że pierwszym obronnym elementem założenia była wieża – donżon na planie prostokąta, zbudowana z cegły na fundamentach kamiennych pochodzących z rozbiórki innego obiektu i otoczona wałem drewniano-ziemnym, którą mógł wybudować Bolesław Pobożny (według M. Żemigały), Henryk Głogowczyk, Wacław II, Władysław Łokietek (według T. Poklewskiego-Koziełła) albo, co potwierdzono podczas ostatnich badań, Kazimierz Wielki (według T. Olszackiego, J. Tomali). Razem z zamkiem w czasach Kazimierza Wielkiego został wybudowany również kościół farny Podwyższenia Krzyża Świętego.
Na kolskim zamku wielokrotnie przebywał król Władysław Jagiełło, prawdopodobnie w wyniku tych wizyt zapoczątkowany został zwyczaj odbywania się w Kole zjazdów generalnych szlachty wielkopolskiej, które często obradowały w obecności króla. W XV wieku na zamku przeprowadzono intensywne prace budowlane. W 1475 roku święta Bożego Narodzenia oraz styczeń 1476 roku spędzili w kolskim zamku król Kazimierz Jagiellończyk i Elżbieta Rakuszanka. Podczas ich pobytu przyjęto na zamku członków powracającego z Bawarii orszaku weselnego Jadwigi Jagiellonki, którzy przynieśli jednak ze sobą zarazę i wielu z nich zmarło w Kole, wśród nich m.in. podstoli litewski Wojciech Moniwid i rycerz Jan Czyżowski.