W 1467 Hans Schordemer posiadał dwie włóki na prawie magdeburskim, ponadto w tym czasie był tu majątek ziemski o powierzchni 40 włók na prawie chełmińskim. Właściciel majątku nie miał prawa osadzać na posiadłości chłopów pruskich. Majątek ziemski w Skandawie pod koniec XV i na początku XVI wieku należał do rodu zu Eulenburg, następnie von Schlieben i później do 1945 r. do rodziny von Dönhoff. W XVI w. część Skandawy nabyli von Eglofsteinowie, właściciele Sorkwit, Warnikajm i Kraskowa.
W 1785 w Skandawie folwark i wieś miały 26 domów mieszkalnych. U schyłku XVIII w. majątek przeszedł w posiadanie rodziny von Dönhoff. Na początku XIX w. majątek ziemski w Skandawie odziedziczyła hrabina Zofia von Schwerin, z domu Dönhoff. W 1826 r. zbudowała tu dla siebie rezydencję pałacową, którą zaprojektował architekt berliński Karl Schinkel (1781–1841). Pałac otoczono parkiem krajobrazowym. W 1859 r. owdowiała hrabina podarowała w prezencie ślubnym swej siostrzenicy, Adeli von Schwerin, dwa należące do Skandawy folwarki Rodele i Dębiany, które sama odziedziczyła po Waldburgach. Po śmierci hrabiny Skandawę odziedziczyli Dönhoffowie. W 1889 r., wraz z folwarkami Oleszka, Koskajmy i Lipowo, majątek ziemski w Skandawie obejmował 1168 ha, w tym 200 ha lasów.