W kolejnym sezonie Ligi ACB wystąpił w 33 meczach sezonu regularnego, który Saski Baskonia zakończyła na pierwszym miejscu w tabeli, a także w 8 fazy play-off. W fazie tej zespół Calderóna odpadł jednak w półfinale z CB Estudiantes. Triumfowali zaś w Pucharze Króla, po tym jak pokonali w finale Joventut Badalona 81:77. W Eurolidze natomiast dotarli do fazy Top 16, gdzie odpadli po zajęciu 2 miejsca w grupie. W rozgrywkach tych Calderón wystąpił w 19 meczach, w których zdobywał średnio 7,2 punktu na mecz.
Podczas Letnich Igrzysk Olimpijskich 2004 pełnił on funkcję kapitana reprezentacji Hiszpanii, która, po tym jak przegrała w ćwierćfinale z reprezentacją Stanów Zjednoczonych, zajęła ostatecznie 7. miejsce. Calderón wystąpił we wszystkich spotkaniach, trzykrotnie zdobywając 15 lub więcej punktów.