W 1689 roku część zabudowy zamkowej, obejmującą również dawny kościół, odbudowano na potrzeby sądu miejskiego. Od 1709 roku postępowała jednak dalsza rozbiórka zespołu. W 1720 roku wojewoda malborski zezwolił na pozyskiwanie materiału budowlanego z kościoła zamkowego na potrzeby budowy klasztoru franciszkanów-reformatów.
thumb|Pozostałości zamku w Dzierzgoniu w 1684 roku
Po zajęciu Dzierzgonia przez Prusy w następstwie I rozbioru Polski w 1772 roku źródła wspominają jeszcze jedną z zachowanych wież, na której zawieszono chorągiew Fryderyka II. W kolejnych latach pozostałości zamku niemal całkowicie rozebrano. Na dawnym dziedzińcu powstał m.in. budynek archiwum, któremu nadano formę przypominającą kaplicę.
W 1929 roku na obszarze dawnego domu konwentualnego zbudowano wieżę ciśnień. Według części wcześniejszej literatury mogła ona zastąpić istniejącą od 1906 roku wieżę widokową.
Położenie Zamek wysoki położony był na północ od średniowiecznego miasta, na stromym i wysokim wzgórzu dominującym nad Dzierzgoniem. Z zespołem zamkowym wiązano również sąsiednie wzgórze św. Anny, choć jego dokładna funkcja w systemie obronnym pozostaje dyskusyjna.