Charlton Athletic Latem 2001 roku Sol Campbell przeszedł do Arsenalu i Tottenham zaproponował Youngowi przedłużenie kontraktu o dwa lata. Mimo to 24 lipca 2001 roku Young przeszedł testy medyczne i dzień później podpisał czteroletni kontrakt z Charltonem Athletic. Klub ten zapłacił za niego 3 miliony funtów i zobowiązał się także płacić 250 tysięcy po każdym sezonie, w którym utrzymają się w Premier League. Suma ta więc wzrosła do 4 milionów.
Pierwszy mecz dla klubu z The Valley rozegrał 18 sierpnia, a Charlton przegrał z Evertonem 2:1. Sezon 2001/2002 Young zakończył z 38 występami we wszystkich rozgrywkach. W następnym sezonie zagrał 34-krotnie. W październiku 2003 roku Young doznał kontuzji stawu skokowego i do stycznia nie pojawił się na boisku. W sezonie 2003/2004 wystąpił łącznie w 25 meczach.
25 sierpnia 2004 roku w wygranym 3:0 meczu ligowym z Aston Villą zdobył swoją pierwszą bramkę dla Charltonu, a cały sezon 2004/2005 zakończył z 41 występami i dwoma golami. Został wybrany najlepszym piłkarzem sezonu według kibiców.
2 kwietnia 2006 roku w spotkaniu z West Ham United doznał kontuzji stawu skokowego. Z tego powodu w sezonie 2005/2006 później już nie wystąpił.