Starał się zjednoczyć wszystkie wysiłki obronne Żydów, i w tym celu współpracował z Berl Katznelsonem i Ze’ewem Żabotyńskim. Golomb był przeciwny tworzeniu niewielkich elitarnych oddziałów paramilitarnych, a zamiast tego twierdził, że Hagana powinna obejmować wszystkich palestyńskich Żydów.
W 1922 został wysłany za granicę w celu zakupu broni dla Hagany, i do 1924 tworzył żydowskie organizacje młodzieżowe w Europie. W latach 30. XX wieku organizował i finansował nielegalną imigrację żydowską. Podczas arabskiego powstania w Palestynie (1936–1939) był jednym z inicjatorów utworzonych w 1937 Kompanii Polowych (hebr. פלוגות השדה, Plugot haSadeh; w skrócie Fosh). Ich działalność była zaaprobowana przez Brytyjczyków, dzięki temu mogły oficjalnie współpracować z siłami Policji Żydowskich Osiedli. Istniało 13 takich kompanii, w których służyło ogółem 1,5 tys. ludzi. Byli uzbrojeni w pistolety, karabiny Lee-Enfield i granaty ręczne. Organizowali pościgi, zasadzki i ataki na bazy milicji arabskich, które wcześniej uczestniczyły w napaściach na żydowskie osiedla.