Tuż przed wyborami parlamentarnymi w 2003 roku, liderem partii został Amram Micna. Uzyskał on 53,92% głosów pośród członków Partii Pracy, pokonując Ben-Eli’ezera (38,17%) i Chajjima Ramona (7,24%). Mitzna został jednym z twórców programu wyborczego, postulującego m.in. jednostronne wycofanie się ze Strefy Gazy. Partia Pracy poniosła jednak spektakularną porażkę, uzyskując tylko 19 miejsc w 120-osobowym Knesecie (najgorszy wynik w historii), podczas gdy Likud Szarona otrzymał aż 38 mandatów (liczba ta wzrosła do 40, gdy połączyła się z nim partia Yisrael BaAliya). Wkrótce potem, ze względu na wewnątrzpartyjną opozycję, Mitzna zrezygnował z przywództwa i został zastąpiony tymczasowo przez Szimona Peresa. Ku zdziwieniu wielu Szaron zaprosił Partię Pracy do wejścia do rządu, chcąc pozyskać jej poparcie dla swojego planu likwidacji osiedli żydowskich w Strefie Gazy. Stało się tak, ponieważ utracił on poparcie ugrupowań prawicowych – Narodowej Partii Religijnej i Unii Narodowej. Partia Pracy otrzymała pięć tek ministerialnych, dwa stanowiska ministra bez teki, a Peres został wicepremierem.
Wybory w 2006 roku i przywództwo Pereca