Następnie od 1477 dobra przeszły w ręce rodu von Rautter, z których Ludwik von Rautter (1542–1614) w latach 1596–1606 wzniósł pierwszą rodową rezydencję. Już wówczas otoczona była parkiem krajobrazowym, w którym na terenie lasu o powierzchni 76 ha znajdowała się hodowla danieli, które były prezentem od polskiego króla Jana II Kazimierza Wazy.
W 1690 pałac doszczętnie spłonął od uderzenia pioruna, a w 1711 rozebrano resztki pogorzeliska.
W tym samym czasie majątek, poprzez ślub hrabiego Bogusława Fryderyka von Dönhoffa (1754–1809)z córką rodziny von Rautter, przeszedł w ręce pruskiego rodu szlacheckiego von Dönhoff. Bogusław Fryderyk polecił wybudowanie nowego założenia pałacowego, a sam zmienił nazwę majątku na Döhnofstadt, natomiast nazwę wsi pozostawił niezmienioną – Wilkowo.
W latach 1710–1714 wzniesiono pałac, wzorowany na słynącej z piękna i rozmachu głównej rezydencji Donhoffów (niezachowanej) we Friedrichstein koło Królewca. Przypuszczalnie obie budowle realizował architekt Johann von Collas (1678–1753), natomiast pierwotną koncepcję architektoniczną pałacu we Friedrichstein wykonał francuski architekt Jean de Bodt (1670–1745).