Początek Ostródzie dała wybudowana ok. 1270 drewniana strażnica, która została w późniejszym czasie przebudowana w zamek. Powstała na terenie ziemi Sasinów wcześniej zasiedlonej przez Prusów. Obok strażnicy powstała osada, której komtur dzierzgoński Luther z Brunszwiku z dynastii Welfów (późniejszy wielki mistrz) nadał w 1329 prawa miejskie, które zostały potwierdzone w 1335 i 1348. Nowe miasto zostało nazwane na pamiątkę Osterode am Harz, miasta położonego w regionie Harzu (pogranicze Turyngii i Saksonii), które należało do książąt brunszwickichTomasz Darmochwał, Marek Jacek Rumiński: Warmia Mazury, przewodnik. Białystok: Agencja TD, 1996 , s. 39.. Miasto leżało w zachodniej części państwa zakonu krzyżackiego określanej od średniowiecza jako Prusy Górne.
W 1341 roku miasto zostało siedzibą komturii ostródzkiej. W latach 1349–1370 obok drewnianej warowni komtur Günther von Hohenstein postawił nowy murowany zamek wybudowany z granitowych głazów i cegły, siedzibę komturii. Jako wieloletni komtur ostródzki Günther von Hohenstein przyczynił się do umocnienia miasta i nowych lokacji na terenie komturstwa.
W 1381 roku – w trakcie litewskiej wojny domowej, w którą zaangażowany był po stronie Jagiełły zakon krzyżacki – zamek ostródzki został spalony przez wojska Kiejstuta.