Część południowa i południowo-wschodnia składa się ze skał krystalicznych, przykrytych skałami mezozoicznymi. Krystalinik Małych Karpat dzieli się na dolną serię pezinsko-pernecką (słow. pezinsko-pernecká séria) i górną serię harmońską (słow. harmónska séria). Pierwotnie były to proterozoiczne skały osadowe, zmetamorfizowane w czasie orogenezy waryscyjskiej. Obecnie są to fyllity. Paleozoiczne zasadowe skały wulkaniczne zostały zmienione w amfibolity. W kompleksie metamorficznym występują dwa masywy granitoidowe – bratysławski (słow. bratislavský granitoidný masí) i modrański (słow. modranský granitoidný masív).
Północno-zachodnia część Małych Karpat zbudowana jest z mezozoicznych skał osadowych. Są to głównie wapienie wieku od triasu do kredy, z wkładkami bazaltów (w rejonie wsi Lošonec), należącymi do płaszczowiny kriżniańskiej i choczańskiej. Obie płaszczowiny pocięte są pokredowymi uskokami.
Wzdłuż brzegów masywu występują osady paleogeńskie i neogeńskie.
W triasowych i jurajskich wapieniach występują zjawiska krasowe, zarówno powierzchniowe, jak i podziemne. Najbardziej znana jaskinia Driny koło Smolenic, w Krasie Smolenickim.
Pierwotnie Małe Karpaty stanowiły płaskowyż, który w wyniku procesów erozyjnych został pocięty dolinami potoków na mniejsze fragmenty.