Ljuboja zażądał 3 mln euro rocznie, a gdy nie porozumiał się z władzami zespołu, został przesunięty do trzecioligowych rezerw VfB.
thumb|left|Ljuboja podczas meczu ze Spartakiem Moskwa W sierpniu 2006 roku piłkarz został wypożyczony na jeden sezon do Hamburgera SV z opcją transferu definitywnego, jednak w trakcie rozgrywek (podobnie jak wcześniej w Stuttgarcie), przesunięto go do drużyny rezerw. Działacze HSV nie zdecydowali się wykupić Ljuboi na stałe i Serb powrócił do VfB Stuttgart, gdzie ponownie zaczął występować w rezerwach. W styczniu 2008 roku został wypożyczony do Wolfsburga. Rozegrał dla niego 8 ligowych spotkań i w lipcu powrócił do Stuttgartu. Ponownie nie załapał się do kadry pierwszego zespołu, do końca sezonu 2008/09 trenując z drugą drużyną.
23 lipca 2009 roku Ljuboja został piłkarzem Grenoble Foot 38. W sezonie 2009/10 zdobył dla niego 10 bramek, jednak klub zajął ostatnie miejsce w Ligue 1 i spadł z najwyższej klasy rozgrywkowej. 31 sierpnia 2010 roku przeniósł się do Nicei.
15 czerwca 2011 roku zawodnik parafował roczny kontrakt z Legią Warszawa. Zadebiutował w Ekstraklasie 7 sierpnia w meczu z Cracovią (3:1), natomiast pierwsze dwa gole strzelił pięć dni później w pojedynku z Górnikiem Zabrze, również wygranym 3:1.