Dane liczbowe świadczą, że rzeczywiście był to niewielki rozmiarami zespół budowlany, choć od początku murowany, wyróżniał się wraz z kościołem od innych budynków w mieście. Najpewniej dwór ten posiadał kształt czworoboku o skrzydłach południowym i północnym, względem siebie równoległych. Dachy sięgające prezbiterium kościoła były strome, dwuspadowe. Ponadto całość uzupełniał dziedziniec oraz prawdopodobnie osobne wejście przez mury.
Domy w mieście były natomiast drewniane o dachach krytych słomą, niektóre z podcieniami, ulice niczym nie umocnione, nocą nie oświetlone. Młyny usytuowano poza miastem, jeden w pobliżu, nad Iławką, drugi dalej przy Dziarnówku. Iława posiadała też przedmieścia o nieregularnej zabudowie, głównie w kierunku północno-wschodnim, między Iławką, murami miejskimi a Jeziorakiem. Nawet wzmocniono je dodatkową fosą pomiędzy Iławką a Jeziorakiem. Tutaj znajdował się zapewne klasztor (w XIV w. zwany „Marienkloster” lub „Nonnenkloster”), który być może spełniał również funkcje szpitalne. Poza tym znajdowały się tutaj najpewniej karczmy oraz mieszkania uboższych mieszkańców.