Po jego śmierci, w roku 1551 zamek został przejęty przez urzędników księcia Albrechta Hohenzollerna, stając się budynkiem rządowym i rezydencją, w której, w 1709 roku, zatrzymał się car Rosji Piotr I, w czasie swojego pobytu w Kwidzynie, na zaproszenie króla pruskiego Fryderyka I.
W roku 1728 skrzydło południowe zamku zostało przekształcone w magazyn spożywczy dla garnizonu wojskowego. Po pierwszym rozbiorze Polski zamek stał się siedzibą sądu. W związku ze zmianą funkcji, przeprowadzono konieczne prace adaptacyjne. W salach I piętra wprowadzono podział na szereg małych pomieszczeń. Rozebrano częściowo zachodni krużganek, budując schody prowadzące z dziedzińca na I piętro. Część zamku zaadaptowano na cele więzienne. W roku 1798 podjęto decyzję o rozbiórce dwóch skrzydeł zamkowych: wschodniego i najbardziej reprezentacyjnego południowego, by z pozyskanego materiału wybudować osobny budynek.
Po roku 1854, na mocy rozporządzenia króla Fryderyka Wilhelma IV zaprzestano dewastacji zamku i rozpoczęto prace rekonstrukcyjne. Ich najistotniejszy etap przeprowadzono w roku 1874, pod kierunkiem Gustava Reicherta. W rezultacie odbudowano wieże narożne, zrekonstruowano sklepienia w pomieszczeniach pierwszego piętra skrzydła północnego i uzupełniono detal architektoniczny.