Następnie w latach 1868-1910 dobra były w posiadaniu braci Paula i Otto Frankensteinów, a jeszcze przed I wojną światową stały się własnością rodzeństwa Gerda i Marii von der Groeben. Ród Groeben posiadał liczne i rozległe dobra i majątki na terenie byłych Prus Wschodnich, m.in. w Łabędniku, Ponarach, Nowej Wiosce koło Kwidzyna, Bałoszycach, Klimach czy Ludwigowie. Przed wybuchem wojny rodzinny majątek Groebenów zajmował powierzchnię 850 ha oraz 100 ha lasu, a ponadto znajdowało się tam około 110 koni, 80 krów, 60 świń czy ponad 500 owiec odmiany Merynos.
W styczniu 1945 roku, podczas ofensywy radzieckiej w Prusach Wschodnich, Gerd von der Gröben zastrzelił się. Wiadomo, iż w tym czasie w pałacu w Barzynie, Groebenowie przetrzymywali liczne odziedziczone po przodkach dzieła sztuki. W ich zbiorach znajdował się m.in. otrzymany od pruskiego rodu von Carstanjen, unikatowy autoportret autorstwa Rembrandta – Śmiejący się Rembrandt.
Po wojnie, pałac wraz z całym majątkiem, stał się własnością PGR-u, który utworzył w nim przedszkole oraz mieszkania i biura dla potrzeb robotników gospodarstwa.