Na miejscu tego kościoła w końcu VIII w. arcybiskup Moguncji Richulf zbudował kościół pod wezwaniem św. Albana wraz z klasztorem benedyktynów. Poświęcono go w 805 r. Kościół, zbudowany w formie trójnawowej bazyliki, był jedną z największych świątyń doby karolińskiej; główna nawa miała 48 metrów długości i 12 m szerokości. W późniejszym okresie dobudowano transept, zniszczona została natomiast w trzęsieniu ziemi w 858 r. zachodnia część kościoła z kaplicą św. Michała.
Karol Wielki miał nakazać pochowanie tutaj jednej ze swych żon, Fastrady. Przez pierwsze dwa stulecia istnienia kościół św. Albana w praktyce dorównywał znaczeniem katedrze, a większość mogunckich arcybiskupów z IX i X w. zostało tu pochowanych (w 935 r. przeniesiono tu też szczątki 10 wcześniejszych biskupów). Jego znaczenie wykraczało jednak daleko poza granice Moguncji. Był jednym z najważniejszych ośrodków liturgicznych Rzeszy, a także miejscem zjazdów kościelnych i politycznych. Często przebywał tu cesarz Otto I, którego troje dzieci (księżna Lotaryngii Ludgarda, książę Szwabii Ludolf i arcybiskup Moguncji Wilhelm) zostało tu pochowanych. Tutejsza szkoła osiągnęła wysoki poziom szczególnie za czasów Hrabana Maura. Klasztor był także ośrodkiem misyjnym, m.in. tu w 826 r.