W roku 1924 zmarł nagle Friedrich Graf von Schwerin. Hrabina Freda von Schwerin z domu Kleist mieszkała w zamku Stolpe wraz ze swoją pokojówką, prowadząc otwarty, światowy dom. Właścicielem zamku w tym czasie był Josef Karl Graf von Schwerin oraz Josef Hans Graf von Schwerin. W roku 1945 wraz z końcem drugiej wojny światowej Armia Czerwona urządziła tu na kilka tygodni kwaterę sztabu. Następnie zamek został wykorzystany jako obóz dla uciekinierów ze wschodu. W następnych latach w ówczesnej radzieckiej strefie okupacyjnej została przeprowadzona reforma rolna. Pod hasłem „kraj panicza w ręce chłopskie” posiadłość Schwerinów została znacjonalizowana. W 1947 radzieckim zarządzeniem wojskowym nr 209 zamek oraz zabudowania gospodarskie zostały częściowo rozebrane. Pozyskany budulec został wykorzystany do budowy mieszkań. Budynek główny i skrzydło zachodnie z pokojami gościnnymi zostały zachowane. Po roku 1949 zamek był wykorzystywany przez władzę lokalną. Mieściła się tu siedziba gminy, mieszkania, gospoda, kolonie dla dzieci. Wyposażenie zamku i wszystkie inne dobra przepadły. W 1974 roku wskutek ideologii komunistycznej zmieniono dawny wygląd budynku. Nic nie powinno przypominać bardzo lubianej na wsi hrabiny Fredy.