W ich skład weszli weterani utworzonych w 1936 formacji paramilitarnych Mobilnej Straży (hebr. המשמר הנע, Ha-Miszmar Ha-Na) i Specjalnych Jednostek Nocnych (hebr. פלוגות הלילה המיוחדות, Plugot Ha-Lajla Ha-Mejuchadot). Dowódcą Palmachu został Jicchak Sade, który przeszedł bezpośrednio ze Sztabu Generalnego Hagany. Zadaniem kompanii szturmowych Palmach miało być prowadzenie wojny partyzanckiej w przypadku zajęcia Palestyny przez wojska niemieckie. Ze względu na trudności budżetowe, sfinansowano nabór jedynie 300 członków, którzy przeszli profesjonalne szkolenie brytyjskich sił specjalnych.
Jednostki Palmachu zostały zorganizowane w sześć kompanii szturmowych oraz dodatkowe jednostki specjalne: Ha-Machlaka Ha-Germanit (Departament Niemiecki) – jednostka sił specjalnych przeznaczona do tajnych operacji i działań sabotażowych przeciwko nazistowskiej infrastrukturze na Bliskim Wschodzie i na Bałkanach. Ha-Machlaka Ha-Arawit (Departament Arabski) – jednostka sił specjalnych przeznaczona do tajnych operacji i misji szpiegowskich przeciwko milicjom arabskim, które często atakowały żydowskie osiedla. Paljam (Kompania Morska) – jednostka sił specjalnych przeznaczona do tajnych operacji morskich.