W XII wieku, za panowania Almohadów, stolicę przeniesiono do Tunisu, który był siedzibą także ich następców, Hafsydów. Niektóre budowle Al-Mahdijji, jak na przykład Wielki Meczet czy kasba, pochodzą z XI i XII wieku i są obecnie atrakcją turystyczną. Na przestrzeni dziejów miasto było celem wielu najazdów. W roku 1390 było bezskutecznie obleganie przez Francuzów. W 1550 zostało zdobyte przez Hiszpanów, którzy okupowali je przez trzy lata, po czym cesarz Karol V zaoferował je Joannitom, którzy władali na Malcie. Zakon odmówił przyjęcia miasta, uznając że byłoby to dla nich zbyt kosztowne. W tej sytuacji Karol nakazał wicekrólowi Sycylii, Juanowi de Vega, zburzenie Al-Mahdijji, mimo że była to ważna strategicznie twierdza. Prace rozbiórkowe prowadził Hernando de Acuña. Wkrótce potem Al-Mahdijja została odbita przez Imperium Osmańskie, ale straciła już handlowe i logistyczne znaczenie i odtąd gospodarczo opierała się na rybołówstwie i tłoczniach oliwy. Tureckie panowanie trwało do XIX wieku.
Podczas niemieckiej okupacji Tunezji w czasie II wojny światowej w Mahdijji Khaled