Pod koniec życia Albrechta, w 1561 roku rozpoczęto generalną przebudowę i rozbudowę zamku, kontynuowaną później w latach 1580-1585. Prace prowadził nadworny architekt Chritopher Römer z Królewca. Roboty budowlane objęły również zamkowe fortyfikacje, które z polecenia księcia Jerzego Wilhelma w 1628 roku umocnił inżynier Christian Rose. Prace przez niego prowadzone musiały mieć dużą skalę i wyszły na zewnątrz fosy zamkowej, skoro mieszkańcom obiecano w tym roku jako odszkodowanie po zajętym terenie łąkę z której usunięto darń, aby wykorzystać ją do budowy fortyfikacji. Prace prowadzono również w następnych latach. Prawdopodobnie powstało jakieś dzieło na zewnątrz. W roku 1647 przybył do Pisza książęcy mierniczy Wilhelm Treber, który miał za zadanie dokończyć rozbudowę zamku. Następna przebudowa miała miejsce w 1655 roku. Wówczas w związku z rozwojem artylerii, włączono w obręb fortyfikacji obszar lokowanego w 1646 roku miasta, tworząc rozległy, jednolity system obronny.
Zamek piski wyszedł obronną ręką z potopu szwedzkiego oraz z najazdu tatarskiego. Nie świadczy to jednak o jakiś nadzwyczajnych fortyfikacjach, ale o tym, że miasto w ogóle było bardzo dobrze przygotowane.