Po jego śmierci w 1695 dobra kadyńskie odziedziczył jego najstarszy syn Ernest Zygmunt Schlieben, który odsprzedał wieś Stanisławowi Samuelowi Działyńskiemu (staroście kiszewskiemu). Kadyny odziedziczył po nim Jan Ignacy Działyński, od którego młodszy syn Jana Teodora Schliebena – wojewoda inflancki Jan Wilhelm Schlieben – odkupił miejscowość. W 1786 roku wieś kupił pruski generał hrabia Wilhelm von Schwerin. Następnie w 1799 roku Kadyny przeszły w posiadanie ówczesnego kanonika kapituły warmińskiej Ignacego Stanisława Matthy. Miejscowość była jeszcze kilkukrotnie sprzedawana (właścicielem była m.in. rodzina Struensee). Od 1817 roku jej właścicielem był kupiec elbląski Daniel Birkner, a od 1827 jego syn Eduard Birkner.
W połowie XVIII wieku w miejscu pruskiego grodziska powstał klasztor franciszkanów.
thumb|Pałac Wilhelma II Eduard Birkner zapisał wieś w testamencie cesarzowi Wilhelmowi II, którego własnością stała się 15 grudnia 1898. Cesarz Wilhelm nakazał budowę w Kadynach letniej rezydencji cesarskiej.
Nabycie Kadyn przez cesarza spowodowało wielki rozwój wsi. Nowy właściciel nakazał odbudowę majątku i budowę nowej wsi według projektów architektów berlińskich w tzw. Ordensstil (z niem.