Został on zastąpiony przez Justina Foleya z Blood Has Been Shed i Red Tide, którego pierwszą trasą była Headbangers Ball w 2003, organizowana przez stację telewizyjną MTV2. O odejściu Gomesa i zastąpieniu go przez Foleya informowano na początku października 2003.
The End of Heartache (2004–2006) mały|250px|Howard Jones (2007) The End of Heartache został wydany 11 maja 2004 r. i zajął 21. miejsce w topliście Billboard 200 z 38 000 sprzedażą w okresie pierwszego tygodnia oraz 39. miejsce w topliście australijskiej przy okazji australijskiej trasy z zespołem Anthrax. Album sprzedał się w ponad 500 000 kopiach w USA i został ozłocony 7 grudnia 2007 r. Płyta zebrała w większości pozytywne recenzje, jak np. Jona Caramanica z Rolling Stone, który nagranie nazwał „kapitalnym zbiorem, zachowującym wiele z ich charakterystycznej, muzycznej brutalności”. Ed Rivaria z AllMusic skomentował: „riff na riffie ułożone w stos sięgający nieba w każdym kolejnym utworze, ich nieprzewidziane zmiany rytmiczne mające na celu zbudowanie, a następnie zburzenie wewnętrznego ciśnienia, które tankuje źródło mocy Killswitch Engage.”