Imperium pod przywództwem Ghana Bassi i jego następcy Ghana Tunki Menina przez kolejne dziesięć lat stawiało opór. Ostatecznie w roku 1076 Abu Bakr ibn Umar zdobył Kumbi Salih i położył kres imperium podczas nawracania jego obywateli na islam.
Następstwa Generał Abu-Bakr zmarł w roku 1087; Almorawidzi panują nad resztkami Imperium Ghany, lecz nie trwa to długo. Podzielony region przechodzi ponownie pod rządy Soninke, jednak ze znacznie mniejszą władzą.
Okupacja Sosso Około roku 1140, zaciekle antymuzułmańscy ludzie Sosso królestwa Kaniaga zdobyli znaczną część dawnego imperium. Diara Kante przejął kontrolę nad Kumbi Salih w roku 1180 i założył dynastię Diarisso. Jego syn Soumaoro Kante odziedziczył po nim tron w roku 1203 i zmusił ludzi do zapłacenia daniny. Sosso poradzili też sobie z aneksją sąsiedniego stanu ludu Mandingo – Kangaba, na południu, gdzie zlokalizowane było ważne złotodajne pole Bure.