W obawie przed atakiem Almorawidów od strony Afryki Północnej, rządzący Sewillą Abbad II al-Mutadid nakazał emirowi Algeciras wybudowanie na Gibraltarze twierdzy i obserwowanie brzegu Afryki.
Almorawidzi przybyli na te tereny w 1086 roku nie w wyniku podboju, a na zaproszenie emirów taif, których państwa były zagrożone ekspansjonistyczną polityką króla Kastylii i Leónu Alfonsa VI. Jusuf ibn Taszfin włączył taifę Sewilli w 1090 roku do swojego państwa. Po Almorawidach swój kalifat ustanowili Almohadzi. W 1146 roku Gibraltar znalazł się w granicach ich państwa. Za panowania kalifa Abd al-Mumina rozpoczęto na Gibraltarze budowę warowni Madinat al-Fath (Miasto zwycięstwa) Abd al-Mumin nakazał by w mieście wybudowano meczet, kilka pałaców dla niego i jego synów, oraz zbiorniki magazynujące wodę. Miasto zostało otoczone murem i posiadało tylko jedną bramę wjazdową Bab al-Fath (Brama zwycięstwa). Wybudowano również port oraz postawiono kilka wiatraków na Skale. Po śmierci al-Mumina jego syn Abu Jusuf I zaniechał rozbudowy miasta i przeniósł się do Sewilli.