Wczesną formę takiego ogrodu można rozpoznać w niektórych pradawnych chramach shintō, na przykład w Ise-jingū, których pawilony otoczone są szerokimi kamienistymi strefami.
W późniejszym okresie himorogi stopniowo przybrało kształt obecny, mający charakter „ołtarzyka”. Jest to ośmionożny, ceremonialny stolik, na którym tworzy się przestrzeń ograniczoną świętym sznurem shimenawa i gałęziami wiecznie zielonego, świętego drzewa o nazwie sakaki (Cleyera japonica). Na gałęzi zawiesza się shide, zygzakowato złożone wstęgi papieru, mające rytualnie oczyścić dane miejsce.
Pierwsze ogrody wśród gór krainy Yamato – gdzie powstawały początki państwa – zostały utworzone w VI i VII wieku. Wielkie stawy z wyspami imitowały morza, a skały wyznaczały ich dzikie brzegi. W tym czasie docierał już na wyspy buddyzm i przybysze z Baekje (lub Paekche) z Półwyspu Koreańskiego.