Po I rozbiorze Polski w 1772 zamek został przekazany przez Kazimierza Sorokę władzom pruskim, których działania doprowadziły do jego prawie całkowitego zniszczenia. W latach 80. XVIII w. obniżono lustro jeziora o 4 metry osuszając system fos wokół zamku. Ołtarz z kaplicy zamkowej wywieziono do kościoła w Chrząstowie, ambonę do Krępska. Po pożarach w latach 1786 i 1793, które zniszczyły drewnianą zabudowę Człuchowa, król pruski Fryderyk Wilhelm II Pruski wydał zgodę na całkowitą rozbiórkę zamku w celu pozyskania materiałów budowlanych na odbudowę miasta. Rozbiórka trwała do 1811, kiedy ukazało się rozporządzenie rejencji o ochronie ruin zamku. W efekcie po budowli pozostały tylko główna wieża i kamienne mury. W latach 1826–1828 w miejscu kaplicy Zamku Wysokiego wybudowano neogotycki kościół ewangelicki według projektu inspektora budowlanego Salzmanna, który został poprawiony przez Karla Friedricha Schinkla. W 1842 na przedzamczu zachodnim zlokalizowano cmentarz ewangelicki, który podobnie jak kościół funkcjonował do 1945..
Architektura