Partia Pracy wróciła do władzy w 1999 pod przywództwem Ehuda Baraka, a Ramon został szefem kancelarii premiera. Został ministrem spraw wewnętrznych po raz drugi w 2000, pełniąc tę funkcję do upadku rządu Baraka w 2001. Sprzeciwiał się pomysłom Baraka, aby utworzyć koalicję z Arielem Szaronem, i nie uczestniczył w porozumieniu z Likudem stworzonym przez Szarona i następcę Baraka, Binjamina Ben Eli’ezera. Ramon ubiegał się o przywództwo w Partii Pracy w listopadzie 2002, przegrywając z Amramem Micną. Jednakże, po rozłamie dokonanym w Likudzie przez Szarona, przyłączył się do nowo utworzonej przez niego centrowej partii, Kadimy. Był pierwszym politykiem z Partii Pracy, który przyłączył się do tego ugrupowania. 4 maja 2006 roku został ministrem sprawiedliwości w rządzie Ehuda Olmerta.
W czasie konfliktu izraelsko-libańskiego w 2006 roku okazał się być najbardziej „jastrzębim” (tj. opowiadającym się za rozwiązaniami siłowymi) z członków gabinetu. 27 lipca 2006 roku powiedział, iż Każdy w południowym Libanie jest terrorystą i jest związany z HezbollahemBush-Blair call for international force The Christian Science Monitor – 28 lipca 2006. „Pan Ramon powiedział na posiedzeniu gabinetu premiera Ehuda Olmerta ‘Każdy w południowym Libanie jest terrorystą i jest związany z Hezbollahem.