Ostateczna przyczyna wyginięcia neandertalczyków z Gibraltaru nie jest znana, ale prawdopodobnie nie było to wynikiem walki z człowiekiem współczesnym, który pojawił się na południu Półwyspu Iberyjskiego dopiero 18 tysięcy lat temu. Populacja neandertalczyków kurczyła się przez ostatnie tysiąclecia, a zmiany klimatu, chów wsobny i choroby przyczyniły się do zagłady.
Po wymarciu neandertalczyków, jaskinie w dalszym ciągu były wykorzystywane przez człowieka rozumnego. W jaskini Gorham odkryto kamienne narzędzia, kości zwierząt datowane na 5-40 tysięcy lat. Wykopaliska archeologicznie wykazały ślady kultury almeryjskiej. Niewiele jest śladów osadnictwa z epoki brązu, ponieważ ludzie porzucili tradycyjne miejsca zamieszkania jakimi były jaskinie.
Starożytność thumb|left|Słupy Heraklesa błędnie przedstawione jako wyspa na mapie Tabula Peutingeriana
W czasach antycznych Skała Gibraltarska była dla ludzi miejscem o znaczeniu symbolicznym i religijnym. Około 950 roku p.n.e. Fenicjanie założyli miasto Carteia, na miejscu dzisiejszego San Roque, nieopodal Gibraltaru. Jaskinia Gorham była sanktuarium dla Genius loci tego miejsca, tak samo jak dla władających później tym terenem Kartagińczyków i Rzymian.