Na początku 2010 roku wziął udział w nagraniu charytatywnego singla „Everybody Hurts” w ramach grupowego projektu Helping Haiti, na rzecz ofiar trzęsienia ziemi na Haiti. Następnie wziął udział w trasie koncertowej razem z siedmioma innymi uczestnikami The X Factor. W październiku ukazał się jego debiutancki album, Wide Awake, promowany singlem „Ambitions”. Piosenka dotarła do top 10 w Wielkiej Brytanii i top 5 w Irlandii, zaś płyta uplasowała się w top 5 w obu krajach. W tym samym roku Joe został zaproszony do nagrania utworu „There’s a Place for Us” do filmu Opowieści z Narnii: Podróż Wędrowca do Świtu. Piosenka została dołączona do jego singla „Someone Wake Me Up”, który jednak osiągnął niewielki sukces tylko w Wielkiej Brytanii.
McElderry rozstał się z firmą Syco na początku 2011 roku. Wziął udział w drugej edycji programu Popstar to Operastar, którą wygrał w lipcu 2011. W sierpniu ukazał się jego drugi album, Classic, wydany przez wytwórnię Decca, składający się z nowych wersji znanych ballad i utworów operowych. Płyta była sukcesem i dotarła do miejsca 2. na brytyjskiej liście UK Albums Chart.