Zrujnowany zamek Edo został przebudowany – siedzibę sioguna otaczało kilka fortec, a całość została wyposażona w złożony system obronny. Wokół zamku wzniesiono spiralną sieć fos. System ten wzmacniały wysokie kamienne mury obronne z 66 bramami, mostami i 36 wieżami obserwacyjnymi (mitsuke). Prace trwały od 1601 do 1651 roku, a po ich zakończeniu zamek był największym na świecie – miał największy obwód. Mury zewnętrzne (gaikaku) i fosy miały długość 16 km, a wewnętrzne 6,4 km. Zamek zajmował powierzchnię 957 000 m². Mury i fosy dzieliły zamek na poszczególne części – w centrum (honmaru) znajdowała się siedziba sioguna (nakaoku) oraz rezydencje kobiece (ōoku). Najwyższym budynkiem zamku był donżon wznoszący się na wysokość 45 m, na którym umieszczono 3-metrową rzeźbę – chroniącą przed pożarami – przedstawiającą mityczne stworzenie o nazwie shachihoko o głowie smoka i tułowiu ryby.
Wokół zamku rozrastało się miasto: na wschodzie dzielnica pospólstwa i handlu, na zachodzie – arystokracji, na północy – rzemieślników a na południu – Ginza – dzielnica kuźni srebra i mennic.