Na mocy ustaleń drugiego pokoju toruńskiego Kwidzyn, wraz z dominium biskupim, przyznany został Zakonowi Krzyżackiemu. Biskupstwo pomezańskie zostało dożywotnio oddane polskiemu biskupowi chełmińskiemu Wincentemu Kiełbasie. Po jego śmierci Zakon podjął próbę obsady biskupstwa pomezańskiego, mając poparcie ze strony kapituły katedralnej. Doprowadziło to do interwencji wojsk polskich na terenach należących do biskupstwa pomezańskiego i warmińskiego – konflikt określany jako Wojna Księża. W 1478 roku wojska polskie zdobyły Kwidzyn. Mieszczanie schronili się w zamku kapituły i podpalili miasto. W trakcie działań wojennych zamek został poważnie uszkodzony – podczas prac remontowych przeprowadzonych w roku 1487, rozebrano uszkodzone wieże narożne.
W roku 1520 w wyniku kolejnych działań wojennych, wojska polskie zniszczyły całkowicie zamek biskupi i najprawdopodobniej uszkodziły zamek kapituły. W roku 1526 biskupi pomezańscy przeszli na protestantyzm. W latach 30 XVI wieku pierwszy biskup protestancki Paulus Speratus, przeprowadził na własny koszt remont zamku kapitulnego.