Wieś wzmiankowana w pod nazwami Panargen (1337), Panarigen lub Panarien (1371). Prawdopodobnie była to posiadłość jakiegoś Prusa, położona nad jeziorem Narie (przedrostek pa oznacza „nad”)„Morąg – z dziejów miasta i powiatu”, Pojezierze, Olsztyn 1973, str.: 76..
Ponary to własność ziemska rodu Bahrenreuter (Przyjemskich) herbu Rawicz w wieku XVI. Pod koniec XVII wieś nabył Fryderyk Gröben (alternatywna pisownia nazwiska – Groeben) – generał-lejtnant piechoty i komendant wojsk cudzoziemskich w armii koronnej Jana III Sobieskiego. Fryderyk Gröben (1645-1712) brał udział w walkach przeciw Turkom i Tatarom na Podolu i Ukrainie, uczestnik odsieczy wiedeńskiej i wypraw króla Sobieskiego do Mołdawii. W roku 1689 w posiadłości osiadł Henryk Wilhelm Gröben (bratanek Fryderyka) – dowódca regimentu piechoty wojsk koronnych. Ponary były we władaniu Gröbenów w latach 1701–1945, będąc siedzibą jednego z czterech majoratów. Około 1850 r. do miejscowych dóbr należało około 5 tys. ha. W roku 1904 w dobrach było 4102 ha ziemi, w tym 1108 lasów. Zmniejszenie posiadłości wynikało z uwłaszczenia chłopów we wsiach: Brzydowo, Litwa, Brzeźno, Roje.