Wokół zamku powstały dzielnice domów (samurajów), w tym panów feudalnych (daimyō), którzy byli zobowiązani rezydować naprzemiennie (w cyklu rocznym) w swoim lennie oraz w Edo, zaś w czasie nieobecności utrzymywać w stolicy członków swojej rodziny. Domy feudałów i samurajów tworzyły tzw. pierścień „Yamanote”. Pierścień ten był również, na większej części obwodu, okolony fosą i wyposażony w bramy.
Między zamkiem i kompleksem rezydencji samurajskich a rzeką Sumida rozciągał się stosunkowo wąski pas dzielnic ludności miejskiej chōnin – tzw. shita-machi („dolne miasto”), najpierw tylko na północnym wschodzie, później, w miarę osuszania terenu, wydłużany coraz bardziej na południe. Jego osią była dzisiejsza ulica Chūō-dōri.
Przynajmniej od początku XVII w. w Edo prowadzono osuszanie terenu pod zabudowę. U progu ery Edo tereny dzisiejszej Ginzy stanowiły podmokłą wyspę-półwysep (Edomae-jima), flankowany przez odnogi Zatoki, sięgające zamku i późniejszego Nihonbashi. W wyniku osuszania jeszcze przed końcem stulecia odzyskano od rzeki znaczny, pocięty kanałami, obszar, który umożliwił rozwój kwartałów mieszczan na południe (dzielnice Kyōbashi i późniejsza Ginza). Kanały nadawały centrum Edo specyficzny charakter i, obudowane w wielu miejscach nabrzeżami, służyły także do transportu.