Następnie w latach 1929–1931 pełnił funkcję dowódcy Hagany w dystrykcie jerozolimskim.

Działalność w podziemiu Po tym, jak ludność arabska przeprowadziła pogromy Żydów w Palestynie w 1929 roku wraz z częścią dowódców Hagany domagał się bardziej zdecydowanej odpowiedzi na akty arabskiej przemocy i sprzeciwił się polityce hawlagi. Żądania te nie zostały spełnione i w 1931 roku wraz z mającymi podobne poglądy członkami Hagany wystąpił z organizacji i przystąpił do Hagany Bet (Hagana Le’umit). Jednocześnie został jej pierwszym dowódcą. Zaangażowany był w szkolenia i zakup broni z Finlandii, a także z Polski.

W grudniu 1936 roku podpisał porozumienie z Ze’ewem Żabotyńskim, zgodnie z którym dowództwo podziemnej organizacji miało być wyłaniane przez przewodniczącego Nowej Organizacji Syjonistycznej. Co więcej, dokument stanowił, że bojownicy Tehomiego nie będą działali przeciwko interesom rewizjonistów na arenie międzynarodowej. Tehomi miał jednak zastrzeżenia do umowy i chciał, aby Żabotyński zgodził się na połączenie Hagany Bet z Haganą. Przywódca rewizjonistów nie chciał się na to zgodzić, gdyż, jak uważał, wówczas w Palestynie nie byłoby niezależnej organizacji, która sprzeciwiłaby się podziałowi mandatu między Żydów i Arabów.