Historia Karjat był stolicą królestwa Kindytów, głównym ośrodkiem handlowym regionu zlokalizowanym przy starożytnym szlaku handlowym łączącym południe Półwyspu Arabskiego z jego częścią północną. Karawany z królestw Saby, Katabanu, Hadramaut, Ma'in czy Himjarytów szły najpierw do Nadżranu, następnie zatrzymywały się w Karjacie, by ruszać do Al-Afladż, skąd szły dalej do Syrii i Mezopotamii.
Czas świetności Karjatu minął wraz z nadejściem islamu. Arabscy geografowie nie rozpisywali się o Karjacie, u Al-Bakriego pojawia się jedynie wzmianka, że jest to miejscowość między ’Aqiq Bani ’Uqayl''' (współczesnym Wadi ad-Dawasir) a Jemenem. Al-Hamdani w swoim dziele Geografia Półwyspu Arabskiego pisał, że karawany mogą zaczerpnąć wody w miejscu nazywanym Karjatem, gdzie znajdują się starożytne studnie i świątynia wykuta w skale.
Stanowisko archeologiczne Pierwsze współczesne doniesienia o Karjacie pochodziły od uczestników wyprawy zorganizowanej w poszukiwaniu ropy naftowej przez Aramco w latach 40. XX w. W 1952 roku do Karjatu udał się brytyjski podróżnik Harry St. John Philby (1885–1960), który sporządził jego opis, odnosząc się do znalezionych tam grobów i inskrypcji.