Aktywnie zespół zaczął funkcjonować od 2002 po odejściu Rutana z zespołu Morbid Angel. Komentarz Rutana: „Wydaje mi się, że to stało się podczas pracy nad płytą „King Of All Kings”. Ja, Jared i Derek ciężko pracowaliśmy, dawaliśmy z siebie wszystko. Wówczas zdałem sobie sprawę, że to, co chciałem zawsze robić, to grać w swoim zespole. Nie ma czegoś takiego, czego nie mógłbym zrobić w Hate Eternal”. 16 września tego samego roku ukazał się drugi album zespołu pt. King Of All Kings. Nagrania odbyły się w Dimension Sound Studios na Florydzie. W 2003 roku z zespołu odszedł basista Jared Anderson by poddać się kuracji odwykowej z powodu nadużywania narkotyków. Muzyka zastąpił Randy Piro. Komentarz Jareda Andersona: „Z powodu trwających od kilku lat moich problemów z narkotykami, zdecydowałem się opuścić zespół i poświęcić się leczeniu odwykowemu, aby znów wyjść na właściwą drogę. Wiem, że to bardzo niefortunne posunięcie, ale z uwagi na szacunek do kolegów z zespołu jest to krok właściwy, ponieważ nie chciałbym być odpowiedzialny za osłabianie grupy”.