Inna wzmianka o zamku pochodzi z okresu krótkich rządów Andegawenów (1266-83), kiedy w dokumentach opisany jest znów jako Castrum Maris i wykazywanych jest 150 mężczyzn z bronią. Wydaje się również, że od roku 1274 w zamku znajdowały się już dwie kaplice, zachowane do dzisiaj. Zachował się również, pochodzący z tego samego roku, szczegółowy wykaz broni i wyposażenia zamku. Od roku 1283 wyspy maltańskie znajdowały się pod władzą Aragonów (jakkolwiek zamek pozostał jeszcze przez jakiś czas w rękach Andegawenów, podczas gdy reszta Malty była już pod władzą Aragonów), i fortyfikacje były głównie używane przez Castellani (m.in. rodzinę de Nava). Faktycznie, władza kasztelanów nie sięgała poza fosę fortu.
Okres Rycerzy Joannitów Kiedy Zakon Rycerzy Joannitów przybył na Maltę w roku 1530, zdecydowali się osiedlić w Birgu, a fort St. Angelo został siedzibą Wielkiego Mistrza, który odnowił Castellan's House i kaplicę św. Anny. Rycerze uczynili fort swoją główną budowlą obronną i mocno go przezbroili i przebudowali, włączając w to odcięcie suchego rowu obronnego i zamienienie go w fosę oraz budowę D'Homedes Bastion w roku 1536.