Instytut powstał z połączenia Zakładu Historii Nauki (1954–1958), następnie Zakładu Historii Nauki i Techniki (1958–1974) z Pracownią Dziejów Oświaty (1953–1974). Początkowo był Zakładem Historii Nauki, Oświaty i Techniki (1974–1977), a następnie Instytutem Historii Nauki, Oświaty i Techniki (1977–1994). Od 1994 placówka nosi nazwę Instytut Historii Nauki. Jednym z jej twórców i dyrektorem w latach 1958–1974 był profesor Bogdan Suchodolski, drugim Aleksander Birkenmajer, przewodniczący Komitetu Historii Nauki pełniącego funkcję Rady Naukowej w latach 1958–1967. Ich następcą – dyrektorem Zakładu i Instytutu – był w latach 1974–1989 profesor Józef Miąso.
Przed restrukturyzacją Instytut składał się z dwóch zakładów: Zakładu Historii Nauk Społecznych, Oświaty i Organizacji Nauki, w którym działają Sekcje: Historii Nauk Społecznych, Dziejów Oświaty i Historii Organizacji Nauki; Zakładu Historii Nauk Ścisłych, Przyrodniczych i Techniki, w którym działają Sekcje: Historii Nauk Ścisłych i Techniki, Historii Medycyny, Historii Chemii i Farmacji oraz Historii Nauk Matematycznych.