W kolejnych latach budynek został rozbudowany, a w 1471 roku, gdy na mocy bulli papieża Sykstusa IV inne małe szpitale miejskie zostały zlikwidowane, Pammatone stał się największym szpitalem w Republice Genui. W 1489 roku zarząd nad nim powierzono Caterinie Fieschi Adorno, która aż do śmierci w 1510 roku mieszkała w klasztorze.
Kościół i klasztor Santissima Annunziata Kamień węgielny pod budowę kościoła położył w 1488 roku kardynał Paolo Fregoso. Potwierdza to napis nad portalem: „MCCCCXXXVIII DIE VIII JUNII” (1488 dnia 8 czerwca). Zachowane cechy architektoniczne wskazują, iż kościół został zaprojektowany w stylu gotyckim. Z 1498 roku pochodzi wzmianka o wezwaniu kościoła – Santa Maria Annunziata. Dookreślenie „di Portoria” w wezwaniu kościoła dodano w związku z jego położeniem w dzielnicy o tej nazwie oraz dla odróżnienia go od zbudowanego później i większego kościoła pod tym samym wezwaniem – Santissima Annunziata del Vastato. Z tego samego powodu nosił również nazwę „Annunziata Vecchia” i „Nunziatella”. Jednak wśród mieszkańców zawsze był znany jako kościół św. Katarzyny (chiesa di Santa Caterina), ponieważ przechowywane w nim są doczesne szczątki genueńskiej świętej. W 1538 roku w Genui wzniesiono nowy mur miejski, który biegł od Porta San Tommaso do dzielnicy Carignano.