Po tym zdarzeniu Golomb doszedł do wniosku, że „sama działalność osadnicza i rolnicza bez zdolności obronnej nie wystarcza, a prawdziwe połączenie z krajem może być możliwe poprzez integrację pracy i obrony.” W 1914 zmarł jego ojciec, i musiał powrócić do Tel Awiwu, aby zarządzać młynem w Jafie. Ożenił się z Adą Szertok, siostrą Moszego Szaretta. Mieli troje dzieci.
Gdy wybuchła I wojna światowa, władze tureckie kazały mu pracować w młynie także podczas szabatu. Kiedy odmówił, został z rozkazu gubernatora Jafy ukarany publiczną chłostą. Z tego powodu znienawidził władze tureckie i sprzeciwił się werbowaniu Żydów do tureckiej armii, nalegając na utworzenie niezależnej żydowskiej organizacji samoobrony.
Gdy w 1917 Brytyjczycy wyparli Turków z Palestyny, nadzieje Żydów zwróciły się w stronę brytyjskiej deklaracji Balfoura. Golomb zgłosił się wówczas jako ochotnik do Legionu Żydowskiego, mając nadzieję, że zostanie on później przekształcony w regularną żydowską milicję. Przeciwstawił się brytyjskim planom wysłania oddziału poza granice Palestyny. Po demobilizacji nawiązał współpracę z organizacją samoobrony Ha-Szomer i utworzył „grupę Jafa”. W lutym 1920 zniszczona została położona na północy osada Tel Chaj. W jej obronie zginął między innymi Josef Trumpeldor.