Wywołało to długotrwale spory kompetencyjne pomiędzy patriarchą a episkopatem weneckim pod przewodnictwem biskupa Castello. Kwestie te zostały ostatecznie rozwiązane dopiero w 1451 roku, kiedy to bullą Regis aeterni papież Mikołaj V zlikwidował patriarchat Grado, przenosząc jego tytuły, jurysdykcję i prawa własnościowe na nowo utworzony patriarchat Wenecji, do którego została również włączona parafia San Silvestro.
Kościół został w pierwszej połowie XV wieku przebudowany i w 1422 roku poświęcony razem z pobliskim oratorium Ognissanti. Przed niedzielą wielkanocną 1820 roku zawalił się ołtarz św. Józefa. Kolejne badania wykazały, że zawalenie groziło całemu kościołowi. Jego przebudowę rozpoczęto w 1836 roku według planów Lorenza Santi, a po jego śmierci kontynuowano pod kierunkiem Giovanniego Battisty Meduny. Prace budowlane dobiegły końca w 1843 roku, a w 1850 roku kościół rekonsekrowano.
Na mocy dekretu napoleońskiego Królestwa Włoch z 5 czerwca 1805 roku (oraz kolejnych dekretów) zainicjowano w Wenecji proces kasat i przekształceń kościołów i klasztorów oraz zmian granic parafii. W latach 1807–1810 zmniejszono liczbę parafii weneckich z ponad 70 do 30, kościół św.