W późniejszym czasie majątek ziemski o majątki: Łęguty, Dragolice, Łopkajny (Lopkajny) i Rapaty. W 1540 r. na 11 włókach gospodarzyli Fabian i Paul. Od 1544 r. wieś należała do rodziny Borck z Ramot. W 1639 r. do wsi należało 11 włók ziemi a właścicielem był Fabian Borck.
W 1937 roku majątek Grazymy obejmował łącznie w sumie 31 490 ha. Ostatnim właścicielem był Albrecht Stein von Kamienski. Od 1945 r. w pałacu mieścił się Dom Dziecka, a od roku 1956 Dom Dla Psychicznie i Nerwowo Chorych.
Zabytki Do wojewódzkiego rejestru zabytków wpisane są obiektyWykaz zabytków nieruchomych wpisanych do rejestru zabytków - stan na 31.12.2017 woj. warmińsko-mazurskie: Pałac pierwotnie barokowy z fundacji rodziny Gröbenów z XVIII wiekuTomasz Darmochwał, Marek Jacek Rumiński: Warmia Mazury, przewodnik. Białystok: Agencja TD, 1996. s. 53, po pożarze odbudowany w 1924 roku w stylu neobarokowym z wykorzystaniem murów wcześniejszej budowli z 1794 roku. Obiekt został zbudowany na planie prostokąta i nakryty mansardowym dachemPiotr Skurzyński "Warmia, Mazury, Suwalszczyzna" Wyd. Sport i Turystyka - Muza S.A. Warszawa 2004 s. 240. Budynek posiada dwa boczne ryzality, pomiędzy którymi od frontu znajduje się płytszy ryzalit zwieńczony trójkątnym szczytem.