Leszkowi Kajzerowi, "Archaelogia Historica Polona" 17, 2007, s. 155 lub Władysława Łokietka. Wyższa część ceglana wieży została zbudowana m.in. w wątku gotyckim, który był stosowany od początku XIV wieku. W 1342 roku wieża została podwyższona przez Kazimierza Wielkiego.
W XIV wieku za panowania Kazimierza Wielkiego wzniesiono murowany zamek otoczony murem obronnym z bramą od zachodu. Wybudowano pierwszy gotycki pałac dla króla oraz basztę żydowską. Zamek, leżący na królewskim szlaku z Krakowa do Wilna, cieszył się zainteresowaniem i opieką Jagiellonów. Tu pod kuratelą Jana Długosza wychowali się synowie Kazimierza Jagiellończyka.
Około 1520 roku Zygmunt Stary zapoczątkował przebudowę zamku na renesansową rezydencję królewską, zatrudniając między innymi włoskich mistrzów sprowadzonych z Krakowa. Wybudowano nową bramę z wieżą, czworoboczną basztę, kamienicę Grodzką, podwyższono pałac królewski ozdabiając go attykami. W grudniu 1530 roku z polecenia króla Seweryn Boner wysłał na zamek w Lublinie architekta Bartolommeo Berrecciego.