Nazwa ta została oficjalnie przyjęta po włączeniu miejscowości do Polski w 1945 r.
Historia thumb|upright|left|Rynek około 1920 Pierwotnie ziemie te zamieszkiwał pruski szczep Galindów, który w latach 800–1300 posiadał tu liczne osady i grody, a jeden z nich – znany jako Okrągła Góra – zlokalizowany był na półwyspie Gajka wrzynającym się w wody jeziora Kalwa. W latach 992–1223 tereny te były areną działań wojennych pomiędzy wojskami polskimi a Prusami. W 1225 ziemie Prus zaczęli najeżdżać Krzyżacy i udało im się je podbić w 1283.
Miasto założone przez Krzyżaków w 1386 r. otrzymało nazwę od założyciela – komtura elbląskiego, Zygfryda von Passenheima.
W 1441 miasto przystąpiło do antykrzyżackiego Związku Pruskiego, na prośbę którego w 1454 król Kazimierz IV Jagiellończyk ogłosił wcielenie regionu z miastem do Królestwa Polskiego. W czasie wojny trzynastoletniej opowiedziało się za Polską i mieszkańcy Pasymia prowadzili działania przeciwko Zakonowi – w 1459 wycięto oddział krzyżacki zwabiony obietnicą poddania im miasta, w 1462 zajęto krzyżackie Jeziorany, Barczewo i Zalewo. Po pokoju toruńskim wróciło pod panowanie Zakonu, jako lenno i część Królestwa Polskiego. Zamek został wzniesiony po wojnie trzynastoletniej, później nazywany był Schervitzen Hof.