Budowa geologiczna i rzeźba Terytorium leży na obszarze Półwyspu Arabskiego, który jest blokiem zbudowanym z prekambryjskich granitów. Jemeńska część Półwyspu Arabskiego jest pokryta wapieniami pochodzącymi z górnej jury, a także piaskowcami z dolnej kredy. Wnętrze Jemenu zajmują silnie rozczłonkowane, stare pasma górskie. Obszar Jemenu jest wyżynno-górzysty, gdzie tereny górskie zajmują południową i zachodnią część kraju. Tereny wyżynne obejmują głównie północno-wschodnią część kraju. Zrębowe góry wznoszą się na około 3000 m n.p.m. Najwyższym szczytem kraju jest Dżabal an-Nabi Szuajb, który wznosi się na 3760 m n.p.m.
Na wschodnie i na północnym wschodzie, góry obniżają się przechodząc w pustynny płaskowyż, będący części wielkiej piaszczystej pustyni zwanej Ar-Rab al-Chali. Na zachodzie zaś tereny górskie opadają stokami ku wąskiej, nadmorskiej równinie Tihama, która jest szeroka na 40–60 km. Nizina ta ciągnie się wzdłuż wybrzeży Morza Czerwonego, w części nadbrzeżnej jest ona bezludną pustynią.