W trakcie sezonu 2003/04 Ljuboja podpisał kontrakt z Paris Saint-Germain, w barwach którego ligowy debiut zanotował 17 stycznia 2004 roku w zremisowanym 0:0 pojedynku z FC Metz. Z nowym klubem zdobył wicemistrzostwo kraju oraz po raz drugi w karierze wywalczył Puchar Francji. Przez półtora sezonu spędzonego w PSG, Serb o miejsce w składzie rywalizował głównie z takimi piłkarzami, jak Pedro Pauleta czy Fabrice Pancrate.
W 2005 roku Ljuboja trafił na wypożyczenie do niemieckiego VfB Stuttgart. W Bundeslidze zadebiutował 10 września w zremisowanym 1:1 spotkaniu przeciwko Arminii Bielefeld, a pierwszego gola strzelił 23 października w zakończonym takim samym rezultatem meczu z Bayerem 04 Leverkusen. Razem z Ljuboją w linii ataku występował najczęściej Duńczyk Jon Dahl Tomasson. W kwietniu 2006 roku Stuttgart wykupił definitywnie Serba i podpisał z nim umowę do 2009 roku. Zawodnik stracił jednak finansowo, gdyż Niemcy, którzy wcześniej płacili mu połowę pensji (podczas wypożyczenia drugą część wypłacał Paris Saint-Germain), nie mieli zamiaru podwoić wydatków na gracza.