Po 1400 roku klasztor znalazł się w trudnym położeniu z powodu niewielkiej liczby zakonnic i niesprzyjających warunków gospodarczych. W latach 1458–1460 został opuszczony, a w 1460 roku kardynał Bessarion przekazał go jako beneficjum archidiakonowi katedry koperskiej Giovanniemu Zarottiemu. Decyzja spotkała się ze sprzeciwem mieszkańców, którzy domagali się powrotu zakonnic. W 1474 roku podpisano dokument przywracający zabudowania augustiankom.

Podczas wizytacji apostolskiej przeprowadzonej w drugiej połowie XVI wieku przez biskupa Agostina Valiera w kościele znajdowały się trzy ołtarze. Pod koniec XVII wieku Paolo Naldini opisywał świątynię jako starą, niewielką budowlę jednonawową, mieszczącą chór zakonny i pięć ołtarzy ozdobionych rzeźbami oraz marmurem. Na ołtarzach znajdowały się dwa otaczane kultem wizerunki Matki Bożej.

Przebudowa w czasach Paola Naldiniego Na początku XVIII wieku średniowieczny kościół był w złym stanie technicznym i groził zawaleniem. Jego gruntowną renowację sfinansował z własnych środków biskup koperski Paolo Naldini.