Począwszy od lat 20. XIX wieku zaczęła pełnić rolę więzienia politycznego. Umieszczano tu m.in. polskich działaczy (jak Walenty Stefański, Józef Chociszewski, Ignacy Danielewski, Symforian Tomicki oraz Aleksy Prusinowski) oraz powstańców. W latach 60. i 70. XIX wieku na terenie Szańca Wschodniego powstały magazyny amunicji i sprzętu wojskowego, a także prochownia. Przebudowa fortu uwzględniała użycie broni automatycznej.
Nowe metody prowadzenia wojen sprawiły, że ówczesne murowane fortyfikacje zaczęły tracić swoje dotychczasowe znaczenie i zaczęto zastępować je betonowymi bateriami artyleryjskimi, stąd podczas I wojny światowej twierdza nie odgrywała już istotnej roli militarnej. W 1914 roku tereny Wisłoujścia zostały włączone w granice administracyjne Gdańska, a w okresie Wolnego Miasta Gdańsk (1920–1939) były dzielnicą peryferyjną i zacofaną, a twierdza nie była modernizowana. W okresie międzywojennym większość szańców i obwałowań rozebrano, na potrzeby rozwijającego się przemysłu, natomiast twierdza została osiedlem mieszkaniowym oraz bazą żeglarską.