W finale, Noël zmierzył się z reprezentantem Turcji Bülentem Ulusoyem. Francuz przegrał (10:25), zdobywając srebrny medal w kategorii półśredniej. W lipcu, Francuz wystartował podczas Mistrzostw Świata w Bangkoku. Xavier odpadł w 1/16 finału, gdzie pokonał go na punkty (19:28), Uzbek Sherzod Husanov.
W lutym 2004 r., Noël wystartował na Mistrzostwach Europy w Puli. W swojej pierwszej walce, Francuz wyeliminował Estończyka Sergeia Melisa (31:9). W 1/8 finału zmierzył się z Węgrem Vilmosem Balogiem, którego pokonał na punkty (5:0). W ćwierćfinale rywalem Francuza był Dorel Simion, brązowy medalista olimpijski z Sydney. Noël zwyciężył na punkty (45:28), dochodząc do półfinału, gdzie w razie porażki był zapewniony brązowy medal i udział podczas Igrzysk Olimpijskich w Atenach. W walce o finał, Francuz wyeliminował Litwina Rolandasa Jasevičiusa, który przegrał przez RSCO w 2. rundzie. W finale rywalem Francuza był dwukrotny złoty medalista olimpijski, Oleg Saitow. Rosjanin zwyciężył na punkty (41:22), zdobywając złoty medal. W sierpniu, Francuz rywalizował podczas najważniejszej imprezy na świecie - Igrzysk Olimpijskich. W pierwszym swoim pojedynku, Noël zmierzył się z reprezentantem Haiti Andre Berto. Francuz pokonał Berto na punkty (36:34), przechodząc do kolejnej rundy.