W lipcu 2004 Van Damme za 3 miliony euro przeszedł do angielskiego Southampton F.C. W Premiership zadebiutował 28 sierpnia w przegranym 1:2 wyjazdowym meczu z Chelsea F.C. W listopadzie odniósł kontuzję, przez co w całym sezonie 2004/2005 tylko sześciokrotnie pojawiał się na angielskich boiskach, a Southampton spadło do Football League Championship.
W 2005 roku Van Damme został zawodnikiem Werderu Brema, do którego został wypożyczony z drużyny "Świętych". Swoje pierwsze spotkanie w Bundeslidze zaliczył 6 sierpnia, a Werder pokonał w nim Arminię Bielefeld 5:2. W sezonie 2005/2006 wystąpił w 8 spotkaniach Werderu, w których zdobył jedną bramkę. Wywalczył wicemistrzostwo Niemiec.
Latem 2006 Jelle podpisał kontrakt z Anderlechtem z Brukseli. Kosztował pół miliona euro i stał się podstawowym zawodnikiem "Fiołków". Na koniec sezonu 2006/2007 został po raz pierwszy w karierze mistrzem Belgii, a to osiągnięcie powtórzył również w rozgrywkach 2009/2010.
Latem 2010 Van Damme za około 2,5 miliona funtów odszedł do angielskiego Wolverhamptonu, z którym podpisał trzyletni kontrakt z możliwością przedłużenia go o kolejny rok. W 2011 roku odszedł do Standardu Liège. W 2016 roku przeszedł do Los Angeles Galaxy, a w 2017 do Royal Antwerp FC.