W 1709 roku twierdza opustoszała. W wyniku epidemii dżumy przy życiu zostało według różnych źródeł 14 lub 15 mieszkańców. Zamek znów stracił na ważności, ale już w 1729 roku zaistniała potrzeba wybudowania magazynu wojskowego. Do końca I połowy XVIII wieku zamek służył jako twierdza, w której stacjonował garnizon wojskowy. W 1740 roku przeprowadzono kolejny remont adaptując wnętrza na aktualne potrzeby. Obiekt powoli zatracał walory militarne na rzecz wygodnej rezydencji. W roku 1787 nastąpiła likwidacja twierdzy Johannisburg. Zamek sprzedano, rozebrano umocnienia, a uzyskane w ten sposób grunty oddano z powrotem mieszczanom. W 1837 roku została rozebrana część budynków i murów obronnych.
Przez następne 100 lat piski zamek pozostał prawie w niezmienionej formie, aż do czasu II wojny światowej, kiedy Pisz został zniszczony w 75%, a wraz z nim prawie całkowicie zamek. W latach sześćdziesiątych XX wieku władze zdecydowały o rozbiórce resztek ruin.