Następnie, w dniach 4–7 kwietnia 1920 doszło do arabskich zamieszek w Nabi Musie w Jerozolimie, w których zginęło 6 Żydów, a 211 zostało rannych. Po tych wydarzeniach Golomb mocno zaangażował się w budowę żydowskich sił samoobrony. Twierdził on, że wszyscy palestyńscy Żydzi powinni zostać zmobilizowani do organizacji paramilitarnej, która byłaby zdolna obronić cele ruchu syjonistycznego.
Hagana Formalne utworzenie Hagany nastąpiło 15 czerwca 1920 w kibucu Kewucat Kinneret. Golomb otrzymał wówczas misję przekonania Jisra’ela Szochata, aby Ha-Szomer w całości wszedł w nowe struktury Hagany. Zadanie to zakończyło się sukcesem. W latach 1920–1930 Golomb był członkiem Komitetu Centralnego Hagany, a w latach 1931–1945 członkiem Dowództwa.
Widział on Haganę jako integralną część ruchu syjonistycznego. Wiele podróżował po kraju, zachęcając Żydów do wstępowania do formacji samoobrony. Starał się organizować wojskowe kursy szkoleniowe. Sprzeciwiał się jednak powstawaniu radykalnych rewizjonistycznych żydowskich organizacji paramilitarnych, takich jak Irgun Cewai Leumi i Lechi. Zdecydowanie nie zgadzał się z tymi, którzy popierali masowe ataki odwetowe na Arabów. Był zwolennikiem samoobrony i aktywnego bronienia żydowskich osad, jednak wroga widział w arabskich agresorach, a nie w arabskiej ludności cywilnej.