13 grudnia 1294 papież Celestyn V zrzekł się swoich tytułów w hallu zamku, a jedenaście dni później Bonifacy VIII został wybrany przez kolegium kardynalskie na kolejnego papieża i natychmiast został wysłany do Rzymu, aby wyrwać się spod zwierzchności Andegawenów).
Podczas rządów króla Roberta I Mądrego (który objął tron w 1309) zamek został rozbudowany i upiększony, przez co stał się również centrum sztuk. W 1347 Castel Nuovo został oblężony przez armię Ludwika I Wielkiego, króla Węgier. Został odbudowany po powrocie królowej Joanny I. Przeprowadzone przez Joannę pozwoliły jej przetrzymać w zamku kolejne oblężenie armii Ludwika I. Zamek był oblegany kilkanaście razy w czasie kolejnych lat. Od roku 1399 stał się oficjalną rezydencją króla Władysława I, ale zaczął podupadać pod rządami jego siostry – Joanny II.
W 1442 zamek stał się własnością dynastii aragońskiej – zapoczątkowanej przez króla Alfonsa V Wspaniałego. Aragońscy królowie zmodernizowali zamek i przystosowali go do nowych rodzajów broni. Wtedy został dodany słynny łuk triumfalny, zaprojektowany przez Francesco Laurana i wybudowany z okazji wejścia Alfonsa V do Neapolu.