Po likwidacji urzędu starościńskiego w XVIII wieku znaczenie zamku malało, a część zabudowań była wykorzystywana gospodarczo. W 1798 skrzydło północno - zachodnie użytkowano jako magazyn soli.
Faza V – przebudowa na więzienie w XIX wieku
Największa od czasów średniowiecza zmiana funkcji i układu zamku rozpoczęła się w 1853 roku, kiedy obiekt przejęło państwo pruskie z przeznaczeniem na zakład karny. Przed rozpoczęciem robót mistrz budowlany Basilewski z Giżycka wykonał w sierpniu 1853 roku szczegółową inwentaryzację budowli, obejmującą rzuty, przekroje i widoki elewacji. Dokumentacja ta ma duże znaczenie dla rekonstrukcji wyglądu zamku sprzed XIX-wiecznej przebudowyMitteilungen, materiał dotyczący zamku i zakładu karnego w Rhein, dostęp 2026-09-22..
Prace adaptacyjne rozpoczęto 8 września 1853 roku. Przy przebudowie zachowano część średniowiecznych sklepień piwnic i przyziemia skrzydła południowo-wschodniego, równocześnie jednak wnętrza dzielono i przystosowywano do potrzeb zakładu karnego.