Początkowo była to wieś księcia Albrechta Hohenzollerna, później królewska. Chłopi z Pozezdrza odrabiali pańszczyznę w majątku domeny państwowej przy zamku w Węgorzewie. W 1858 roku wieś liczyła 927 mieszkańców, w 1880 roku - 1146 (połowę stanowili Polacy) i w 1910 roku - 1300. Według spisu z roku 1939 miejscowość liczyła 1551 mieszkańców.
W 1910 Pozezdrze zniszczone zostało przez pożar. Pod koniec 1914 i na początku 1915 miejscowość znalazła się na terenie frontu I wojny światowej – bitwa nad jeziorami mazurskimi. W czasie II wojny światowej obok Pozezdrza wybudowana została kwatera dla Himmlera. We wsi funkcjonowała placówka batalionu policyjnego zapewniająca ochronę Himmlerowi.
W pobliskim lesie (ok. 2 km na północny zachód) znajdują się bunkry byłej kwatery SS i policji Reichsführera Himmlera (występowała pod kryptonimem „Hochwald”), zbudowane w latach 1940–1941, były wykorzystywane w czasie agresji na ZSRR. Teren kwatery otoczony był polem minowym ogrodzonym płotem z siatki i drutu kolczastego. Zakwaterowany był tu batalion policji, który wchodził w skład oddziałów przewidzianych do obrony kwatery Himmlera i OKW w Gierłoży oraz obserwacji trójkąta Kętrzyn – Węgorzewo – Giżycko.