Około 100 roku na przedmiotowym obszarze powstała galijsko-rzymska świątynia, która istniała do IV wieku, a następnie, około 600 roku założono tam chrześcijańską z cmentarzem. W późniejszych czasach na terenie tym istniało kilka zbudowanych przez Franków budowli kościelnych, co ustalono podczas wykopalisk archeologicznych, przeprowadzonych przy okazji prac renowacyjnych i restauracyjnych w latach 1979–1990.
W latach 817–836 z inicjatywy arcybiskupa Trewiru oraz przy wsparciu króla Franków i cesarza Świętego Cesarstwa Rzymskiego Ludwika I Pobożnego został zbudowany obecny kościół. 12 listopada 836 roku arcybiskup Hetti dokonał poświęcenia ukończonej świątyni. Dzień wcześniej do budynku przywieziono z Karden szczątki . Święty Kastor, patron koblenckiej świątyni, przybył ze swojej ojczyzny Akwitanii do Trewiru, gdzie był uczniem biskupa Trewiru, Świętego Maksymiana, a następnie został przez niego wysłany do Karden nad Mozelą jako duszpasterz i posłaniec wiary. Niedługo po śmierci był tam czczony jako święty. Wraz ze Świętym Kastorem czczona i proszona o wstawiennictwo była także Błogosławiona Rizza, legendarna córka Ludwika I Pobożnego. Zgodnie z przekazem miała ona mieszkać po drugiej stronie Renu i modlić się w kościele św. Kastora, a ponadto uczestniczyć w nabożeństwach.