Na początku sezonu 2004/2005 Jérémie doznał kontuzji i pauzował aż do lutego i ostatecznie zagrał tylko w 6 meczach drużyny, w każdym z nich wchodząc na boisko z ławki rezerwowych. Częściej grał w rezerwach zespołu Arsenalu i tam też zdobywał bramki – 8 goli w 5 meczach.
5 lipca 2011 roku podpisał trzyletni kontrakt z występującym we francuskiej Ligue 1 FC Lorient.
Wypożyczenia W sezonie 2005/2006 Wenger zdecydował, iż dla wciąż młodego Aliadière, lepiej będzie, jak zostanie on wypożyczony do innego zespołu. Na początku sezonu trafił do Celticu z nadzieją, że wywalczy tam miejsce w podstawowej jedenastce. Aliadiere zawiódł jednak pokładane w nim nadzieje i w Glasgow wytrzymał tylko miesiąc, rozgrywając dwa mecze.
24 sierpnia wrócił do Londynu i został wypożyczony do West Hamu. Jednak pobyt w drużynie „Młotów” także był bardzo nieudany i Jérémie zagrał tylko w 8 meczach, w tym tylko w 1 w podstawowej jedenastce.