Historia Wyspa ma długą historię jako święte miejsce shintō. Jest obiektem kultu przyrody od czasów starożytnych ze względu na swój krajobraz i góry. Najwyższa na wyspie góra Misen (Mi-sen, 535 m), otoczona pierwotnym lasem, była czczona przez miejscową ludność już w VI wieku. Legenda głosi, że w pierwotnej wersji chram Itsukushima został wzniesiony w 593 roku rzekomo przez człowieka o imieniu Kuramoto Saeki, zarządzającego tą krainą. Jednak chram ten w obecnym kształcie (styl shinden-zukuri) przypisywany jest powszechnie politykowi i wojskowemu, Kiyomori Taira (1118–1181), najpotężniejszemu człowiekowi w Japonii pod koniec okresu Heian (794–1185). W 1168 roku wybrał on wyspę na miejsce kultu swojego klanu i zbudował chram w małej zatoce, z bramą torii w pewnej odległości od brzegu, w Morzu Wewnętrznym. Jest to jedyny obiekt tego rodzaju, który wydaje się unosić malowniczo ponad wodą.