W środku wsi kościół oraz dwukondygnacyjna – murowana z czerwonej cegły – szkoła (z końca XIX w.). Tuż za wsią od strony północnej znajduje się dawny cmentarz ewangelicki.
Polska nazwa wsi pochodzi od niemieckiej nazwy Grammen, jak nazwano pobliskie jezioro. Niewykluczone też, że osadnicy z Mazowsza spolszczyli po swojemu nazwę wsi. Według ludowej legendy okolice wsi porośnięte były starym, dębowym lasem. W czasie burzy pioruny bardzo często biją w dęby i dlatego wieś nazwano Grom. podanie to jest raczej współczesna interpretacja nazwy w nawiązaniu do języka polskiego.
Historia Przywilej wystawił na prawie chełmińskim dla sołtysa Henricha Goldenhorna w dniu Matki Boskiej Gromnicznej, 2 lutego 1381 roku, komtur ostródzki Kuno von Liebenstein. Na założenie wsi sołtys otrzymał nadział 60 włók (ponad 1000ha) boru, w tym zgodnie z prawem chełmińskim 6 włók dla siebie i niższe sądownictwo podległych mu włościan. Część chłopów odrabiało szarwark w pobliskim folwarku w Jęczniku. Miejsce dla osadnictwa było wyjątkowo dogodne. Położona nad jeziorem, na dobrych ziemiach, przy ważnej handlowo-wojennej drodze z Polski do stolicy Zakonu, Malborka. Osiedliło się tu sporo osadników z sąsiedniego Mazowsza i przesiedlonych Prusów z północnych terenów Sambii i Natangii.