W 1754 roku dobra szlacheckie Schwerinów przeszły w obce władanie. Do roku 1895 lenno Stolpe należało do Gregora Friedricha von Schmalensee, Freiherra von Lepel, Johanna Friedricha Krauthoffa, doktora Martina Vogela i Ludwiga Holtza. W 1895 roku Bernard Graf von Schwerin nabył dobra Stolpe za 330 000 marek niemieckich, jako masę upadłościową od rodziny Busower Zweig, linii Altwinshagener. W 1896 Bernard darował tę posiadłość synowi Friedrichowi Grafowi von Schwerin jako prezent z okazji zaślubin z hrabiną Fredą von Kleist. W ten sposób posiadłość powróciła do rodziny Schwerinów. W latach 1896–1907 po przejęciu dóbr Stolpe przez Friedricha Grafa von Schwerin i hrabinę Fredę postanowili oni rozbudować posiadłość, która nie zaspokajała ich oczekiwań. Skromna barokowa budowla została rozbudowana z rozmachem, zmieniając się w imponującą posiadłość. W pierwszym etapie prac dobudowano trzy wieże jak również arkadową galerię z zaokrąglonymi oknami łukowymi i współśrodkowy portal z bocznym wejściem. Równocześnie zamek rozbudowano w kierunku zachodnim. Dokonano rozległych prac wewnątrz budynku. Hall wejściowy został ukształtowany od nowa, wybudowano półokrągłą galerię oraz wmontowano takie same schody. W drugim etapie robót budowlanych wykonano pokoje, podniesiono wieżę północną oraz częściowo wykonano nadbudowę pietra galerii arkadowej.