Po rozbudowie zamek w Płocku był Ważniejsza część zamku – reprezentacyjna – określana była jako castrum. W obrębie murów znajdował się dom mieszkalny władcy, jednak do tej pory nie odkryto jego pozostałości. Wieża Szlachecka (nazywana początkowo Wielką lub Wysoką), przez którą prowadziła po moście zwodzonym brama do zamku, pierwotnie była wyższa, ale została obniżona w 1796 roku. W wieży tej mieściło się też więzienie.
Wieża Zegarowa została zbudowana na murach wcześniejszej kamiennej wieży mieszkalnej. Wieża ta została nadbudowana niedługo przed 1492 rokiem w celu umieszczenia w niej dzwonów katedralnych i wtedy też dodano do niej nową kondygnację z wieżyczkami, oraz nieco później, w połowie XVI wieku, murowany aneks na klatkę schodową ze szczytem i zegarem, od której otrzymała nazwę. Barokowy hełm wieża otrzymała w latach 1723–1735. Oprócz bramy do zamku można było dostać się przez dwie furty, od strony Wisły i obok katedry.