W 2001 roku został trenerem reprezentacji Grecji. Kraj bezpośrednio zakwalifikował się do Euro 2004, wyprzedzając Hiszpanię i Ukrainę. Ich szanse na zwycięstwo w całej imprezie były oceniane na ok. 100-1, jednak sensacyjne zwycięstwa z Portugalią, Francją i Czechami, faworytami do zwycięstwa, doprowadziły Grecję do finału, gdzie pokonała Portugalię 1:0 (gol Angelosa Charisteasa). Rehhagel został pierwszym zagranicznym szkoleniowcem reprezentacji zdobywającym mistrzostwo Starego Kontynentu.
Otto zaadaptował na greckim terenie defensywne podejście do gry, używając energicznych pomocników, którzy kryli dobrze wyszkolonych technicznie przeciwników i napastników, czyhających na nieliczne sytuacje. Kiedy został oskarżony o nudną grę powiedział: "Nikt nie powinien zapomnieć, że to trener przystosowuje taktykę do charakterystycznych cech dostępnych piłkarzy". Interesujące jest to, że kiedy trenował Werder Brema, jego klub prezentował szybki i spektakularny futbol oparty na ataku.