W 1083 Alfons VI zdobył zamek w Magerit (Mayrit) i włączył do swego dominium. Kolejni władcy Kastylii przyczynili się do rozwoju budowli zwanej z arabska alkazarem. Szczególnie zasłużyła się w tej materii dynastia Trastámara, której władcy włączyli zamek w system obronny Kastylii i uczynili jedną z ważniejszych fortec broniącej dostępu do zamku w Segowii. XVII-wieczne widoki zachodniej fasady Alkazaru ukazują pozostałości pierwotnej średniowiecznej architektury zachowane w czasie późniejszych przebudów. Charakterystyczne są zwłaszcza trzy półwieże zakończone spiczastymi dachami.
W 1329 r. odbyło się w Alkazarze pierwsze zebranie Kortezów. Henryk III de Trastámara nakazał podwyższenie niektórych wież, a jego syn Jan II ufundował nową kaplicę i bogato zdobioną salę, którą zwano Bogatą Salą (Sala Rica). Zamek był jedną z ulubionych rezydencji Henryka IV, tutaj także przyszła na świat 28 lutego 1462 r. Joanna la Beltraneja. W późniejszych czasach Alkazar ucierpiał w czasie wojny w 1476 r. oraz ponownie w 1520 r. w czasie powstania Comuneros.