Poniżej kasby znajdowała się późniejsza Villa Vieja (Stare miasto) dostępna jedynie przez bramę Bab el-Granada oraz port Dar el-Sinaha do którego można się było dostać trzema bramami. Na miejscu dzisiejszej Katedry Najświętszej Maryi Panny zbudowano meczet. Kolejny usytuowany był w miejscu dzisiejszego Sanktuarium Matki Bożej, Pani Europy na Europa Point.
Od sierpnia 1349 do marca 1350 roku wojska Alfonsa XI oblegały twierdzę (Piąte oblężenie Gibraltaru). Atakujących zdziesiątkowała epidemia czarnej ospy. Wśród zmarłych był również sam król, po śmierci którego zaniechano dalszego oblężenia. W 1374 roku władztwo nad Gibraltarem ponownie przejęli Nasrydzi z Grenady. W 1410 roku garnizon wypowiedział posłuszeństwo emirowi Jusufowi III i zadeklarował wierność władcy Maroka Usmanowi III. Twierdza została odbita dzięki stronnikom emira w mieście (Szóste oblężenie Gibraltaru). W 1437 roku kolejną nieskuteczną próbę oblężenia (Siódme oblężenie Gibraltaru) podjęli Kastylijczycy pod wodzą Enrique Péreza de Guzmán. Podczas ataku książę de Guzmán utonął w czasie ataku morskiego, gdy przeładowana łódź w której płynął na ratunek oddziałom lądowym, wywróciła się. Maurowie wyłowili jego ciało i zawiesili w koszu na jednej z baszt.