W 711 roku Gibraltar był miejscem lądowania berberskiego generała Tarika ibn Zijada, który rozpoczął tam arabski podbój Półwyspu Iberyjskiego. thumb|Moorish Castle wybudowany w 711 roku Od 1309 roku królowie Kastylii toczyli z mauretańskimi władcami Fezu i Grenady walki o Gibraltar, w ich toku doszło do serii ośmiu oblężeń. W 1309 miasto i zamek zostały zdobyte przez Alonso Péreza de Guzmán dla Ferdynanda IV. Wojska Maurów bezskutecznie oblegały miasto w 1315, jednak w toku trzeciego oblężenia, 17 czerwca 1333 zamek został odbity z rąk chrześcijańskich. Ledwie nieco ponad tydzień po jego zdobyciu pod zamek nadciągnęły wojska Alfonsa XI, jednak oblężenie okazało się nieskuteczne. Król powrócił z armią w 1349 i obległ zamek ponownie, jednak w jego obozie wybuchła epidemia czarnej śmierci, na którą zmarł również sam władca; oblężenie zwinięto 27 marca 1350.