Gubernator Don Vasco Perez de Meira sprzeniewierzył fundusze przeznaczone na obronność, przeznaczające je na zakup ziemi w okolicach Jerez de la Frontera. Miasto posiadało kilka rzędów murów obronnych, które ciągnęły się od stoczni aż po zamek na zboczu Skał. Pod koniec lutego atakujący zdobyli stocznie i tereny wokół zamku, gdzie rozstawiono machiny oblężnicze (Trzecie oblężenie Gibraltaru). Dopiero w czerwcu na pomoc ruszyły wojska kastylijskie, lecz było już za późno. 17 czerwca 1333 Vasco Perez poddał miasto, po czym zbiegł do Afryki Północnej. Pomimo tego zwycięstwa, Muhammad IV został zamordowany przez wewnętrzną opozycję w swoim kraju, a Abu al-Hassan wykorzystał tę sytuację i zagarnął miasto. Kastylijczycy niezwłocznie przystąpili do oblężenia (Czwarte oblężenie Gibraltaru), które trwało dwa miesiące i zakończyło się niepowodzeniem.
Po podpisaniu traktatu pokojowego, przystąpiono do rozbudowy miejskich fortyfikacji. Twierdza ciągnęła się od dzisiejszego placu Grand Casemates Square do Upper Castle Road i była podzielona na trzy części. Górowała nad nią Tower of Homage (Wieża hołdu), największa wieża w całej Al-Andalus. Wokół niej wytyczono kasbę.