Allon odszedł z armii w 1950.
Kariera polityczna thumb|Konwencja założycielska Koalicji Pracy, od lewej: Mosze Karmel, Jigal Allon, Re’uwen Barkat, Lewi Eszkol, Jisra’el Galili i Aharon Becker (1965) Po zakończeniu kariery wojskowej, Allon rozpoczął karierę polityczną w lewicowej partii syjonistycznej Achdut ha-Awoda. W 1955 po raz pierwszy wziął udział w wyborach parlamentarnych i został wybrany do III Knesetu. Pracę posła kontynuował aż do swojej śmierci. Był członkiem Komisji Spraw Gospodarczych, Komisji Konstytucji, Prawa i Sprawiedliwości, Komisji Edukacji i Kultury i innych.
W latach 1961–1967 był ministrem pracy. Następnie w latach 1967–1969 pełnił obowiązki wicepremiera i ministra absorpcji imigrantów. W 1967 wszedł do grupy sztabowej opracowującej plan wojny sześciodniowej. Po śmierci premiera Lewiego Eszkola w dniu 26 lutego 1969 objął obowiązki tymczasowego premiera. Urząd piastował do 17 marca 1969, kiedy nowym premierem została Golda Meir.