Historia Miasto zostało założone w czasach przedrzymskich i osiągnęło wielkie znaczenie w czasach panowania Karola Wielkiego, który zbudował tu swój pałac cesarski Kaiserpfalz (palatium). Woda do pałacu doprowadzona została siedmiokilometrowym podziemnym akweduktem. Jego syn i następca Ludwik I Pobożny często korzystał z pałacu i zmarł na pobliskiej wyspie na Renie 20 czerwca 840. Kilka synodów i posiedzeń Świętego Cesarstwa Rzymskiego odbyło się w Ingelheimie. Pozostałości pałacu zostały odkopane i są obecnie udostępnione do zwiedzania. W późnym średniowieczu znaczenie pałacu znacznie zmalało, jedynie za panowania cesarza Fryderyka Barbarossy, który podziwiał Karola Wielkiego, doszło do krótkiego przywrócenia jego świetności. W wieku XV i XVI wieku miał tu swoją siedzibę w dzielnicy Ober-Ingelheim sąd regionalny.
Oprócz ruin pałacu Karola Wielkiego można w mieście podziwiać także wiele innych zabytków, wśród nich ratusz, wieża Bismarcka, kościół św. Remigiusza (St. Remigius) z rzeźbą Baranka Bożego, kościół Saalkirche z 997 oraz kościół Burgkirche z długoletnią historią budowy. Jego romańska wieża z początków XI w.