W 2004 skok o tyczce kobiet już dojrzał jako dyscyplina sportowa i podczas mityngu w Doniecku Jelena pobiła kolejny halowy rekord świata (4,83 m), który w ciągu tygodnia został pobity o 1 cm przez Fieofanową. W marcu, na Halowych Mistrzostwach Świata w Budapeszcie Jelena zdobyła złoty medal, bijąc rekord świata i skacząc 4,86 m. Drugie miejsce zajęła Dragila, trzecie Fieofanowa.
W czerwcu i lipcu trzy razy biła rekord świata, w Gateshead (4,87 m), w Birmingham (4,89 m) oraz w Londynie (4,90 cm) na stadionie Crystal Palace.
Skok o tyczce był jedną z najbardziej prestiżowych konkurencji na Igrzyskach Olimpijskich w Atenach, a rywalizacja między Isinbajewą a Fieofanową podgrzewała tylko atmosferę. Kiedy wszystkie konkurencje zakończyły się, uwaga widzów była zwrócona na konkurs skoku o tyczce kobiet. Kiedy po zaliczeniu 4,75 Fieofanowa nie pokonała 4,90, złoto przypadło Jelenie, która pobiła dodatkowo rekord świata skokiem na wysokość 4,91. Brąz wywalczyła Polka Anna Rogowska.