W późniejszym czasie brat zakonny Hans von Oelsen, wzniósł w Sorkwitach drewnianą strażnicę, która mała chronić wieś przed najazdami Litwinów.
W połowie XV wieku dobra kupili von Schliebenowie, którzy wznieśli tam murowany kościół a wieś w ich rękach pozostała aż do XVIII wieku. Po nich, na krótko, w latach 1750-1804 majątek należał do polskiej rodziny Bronikowskich, a przedstawiciel rodu, major huzarów, Jan Oppeln-Bronikowski w 1788 wzniósł w Sorkwitach pierwszy dwór.
Od rodziny Bronikowskich w 1804 dobra odkupili von Mirbachowie, którzy zapoczątkowali okres świetności majątku. W latach 1850–1856 na polecenie Juliusza Ulricha von Mirbacha, wyróżnionego w 1888 tytułem hrabiowskim, wzniesiono pałac w modnym ówcześnie w Prusach stylu angielskiego neogotyku. Powstały na miejscu dworu Bronikowskich pałac był dużą, piętrowa i przypominającą zamek, budowlą z czerwonej cegły. W tym samym czasie wzniesiono także w formie warownej wieży wozownię oraz otaczający całe założenie park krajobrazowy. Natomiast na półwyspie jeziora Lampackiego powstały liczne alejki ogrodowe, winnica, dla potrzeb wyrobu wina własnej produkcji oraz rodowy cmentarz von Mirbachów.