Budowa geologiczna Japonii jest skomplikowana. Występują zarówno stare fragmenty skorupy kontynentalnej, pochodzące z prekambru, jak i obszary zbudowane ze skał paleozoicznych, mezozoicznych i kenozoicznych. Występuje także duża ilość skał wulkanicznych, które powstały od miocenu do dziś.
Najstarszymi skałami są pochodzące z prekambru głazy granitowe i gnejsowe występujące w Kamiasō, w Hichisō (prefektura Gifu) na wyspie Honsiu. Granity i gnejsy prekambryjskie występują również w górach Hida na Honsiu i na wyspie Oki. W osadach jurajskich w środkowej części Honsiu występują otoczaki granitowe o wieku około 1,6 mld lat.
Liczne, zwłaszcza na Sikoku i Kiusiu oraz w południowej części Honsiu, są skały metamorficzne i kompleksy ofiolitowe, które są fragmentami dawnego dna oceanicznego. Skały te pochodzą z okresu paleozoicznego. Wśród osadów permskich i mezozoicznych występują różnorodne wapienie, dolomity oraz skały okruchowe (flisz), a poza nimi skały krzemionkowe, które powstały w głębokowodnych częściach oceanu.