Historia Muzeum powstało w 1872, kiedy to miała miejsce pierwsza wystawa zorganizowana przez Departament Muzeów Ministerstwa Edukacji. Była to jednocześnie inauguracja pierwszego muzeum w Japonii. Wkrótce po otwarciu muzeum przeniesiono do Uchiyamashita-chō (obecnie Uchisaiwai-chō), a następnie w 1882 do parku Ueno, gdzie znajduje się do dziś. Od czasu utworzenia muzeum doświadczyło poważnych problemów, takich jak trzęsienie ziemi w Tokio w 1923 oraz czasowe zamknięcie w 1945 podczas II wojny światowej. W trakcie ponad 120 lat swojej historii muzeum przeszło wiele zmian organizacyjnych. Kilkakrotnie zmieniało też nazwę: w 1886 – „Muzeum Cesarskie” (Imperial Museum), w 1900 – „Tokijskie Muzeum Dworu Cesarskiego” (ang. Tokyo Imperial Household Museum). Obecną nazwę nosi od 1947.
Kalendarium 1872 – Ministerstwo Edukacji organizuje pierwszą w Japonii wystawę publiczną pod nazwą „Muzeum Ministerstwa Edukacji”IAI National Museum. (2005). Institutional overview, PDF/p.