Później przegrał w lutym 2001 w wyborach na premiera z Arielem Szaronem i zrezygnował z przywództwa w ugrupowaniu. Jednakże Partia Pracy weszła w skład gabinetu Szarona po tym, jak sformował on Rząd Jedności Narodowej (Likud, Partia Pracy, Szas, Jisra’el ba-Alijja i Zjednoczony Judaizm Tory). Otrzymała nawet jedne z najważniejszych stanowisk rządowych: Peres (nowy tymczasowy lider partii) został ministrem spraw zagranicznych, a Binjamin Ben Eli’ezer – ministrem obrony. Ministrem bez teki został także Salih Tarif – pierwszy w izraelskim rządzie Druz.
Pod koniec 2001 roku Ben-Eli’ezer został wybrany na lidera Partii Pracy, uzyskując 50,8% głosów w wewnątrzpartyjnych wyborach i pokonując Awrahama Burga (ówczesnego speakera Knesetu). Został on pierwszym sefardyjskim przywódcą ugrupowania w jego historii. Partia Pracy poparła operację Ochronna Tarcza przeprowadzoną w kwietniu 2002 przeciwko palestyńskim terrorystom na Zachodnim Brzegu. Spowodowało to ostrą wewnątrzpartyjną krytykę, Peres i Ben-Eli’ezer zostali nawet nazwani „marionetkami” Szarona. W wyniku protestu członków rządu z Partii Pracy odnośnie do przeznaczenia większych funduszy na rozbudowę osiedli żydowskich na Zachodnim Brzegu, ugrupowanie to wyszło z rządu w listopadzie 2002 roku.