Pierwotnie zamek stanowił samodzielne założenie, dopiero wtórnie został połączony z katedrą, a jego najwyższą, narożną wieżę południowo-wschodnią przekształcono w dzwonnicę. Ukończenie nowego kościoła katedralnego jest datowane na okres rządów biskupa Jana Möncha (1377–1409). Przedzamcze położone było na północ od kompleksu katedralno-zamkowego, od którego oddzielone było szeroką fosą. Obie części zamku łączył most na murowanych podporach. W tym czasie powstał w Kwidzynie unikatowy zespół architektoniczny, w którego skład weszły dwa zamki (biskupi i kapituły z przedzamczem), katedra oraz miasto. Poszczególne człony miały własne umocnienia, a połączone murami tworzyły system obronny, doskonale wkomponowany w warunki naturalne terenu. Zamek stał się siedzibą kapituły pomezańskiej, a także centrum religijnym i polityczno-administracyjnym.