Studia Jego ojciec pragnął, żeby jedyny syn pewnego razu przejął interes. Grundmann niechętnie rozpoczął studia w semestrze letnim w 1921 roku na wydziale ekonomii politycznej Uniwersytetu w Lipsku. Jego zainteresowanie już w pierwszym semestrze wzbudziła historia u Waltera Goetza, gospodarcza i społeczna historia u Alfreda Dorena, socjologia u Hansa Freyera, idealistyczna filozofia u Theodora Litta, a potem u Hansa Driescha i Johanna Volkelta. W lecie 1922 roku Grundmann spędził jeden semestr na Uniwersytecie Ruprechta i Karola w Heidelbergu, a latem 1923 roku także jeden semestr na Uniwersytecie Ludwika i Maksymiliana w Monachium. Główny nacisk kładł na literaturoznawstwo, duży wpływ na niego wywarł Friedrich Gundolf w Heidelbergu, a w Monachium Karl Vossler i Fritz Strich. W Heidelbergu z historią zaznajomili go Hermann Oncken, Eberhard Gothein i Friedrich Baethgen, a w Monachium ponownie Oncken i Paul Joachimsen. Wykład Joachimsena na temat Vorgeschichte der Reformation („Okres poprzedzający reformację”) zainteresował go duchowymi i religijnymi ruchami w średniowieczu, co później stało się to głównym tematem jego późniejszych dzieł życiaArno Borst: Herbert Grundmann (1902–1970). Deutsches Archiv für Erforschung des Mittelalters. Tom 26, 1970, S. 327–353, strona 329..