Z początku Boris miał pewne miejsce w składzie Portsmouth. Jednak w grudniu publicznie skrytykował menedżera Harry’ego Redknappa, który odsunął go od składu i wystawił na listę transferową. W styczniu 2004 zgłosił się po niego VfB Stuttgart i Živković powrócił do Niemiec. Niestety konkurencja w obronie w drużynie ze Stuttgartu była duża i Boris przegrywał rywalizację z Fernando Meirą, Martinem Stranzlem czy Markusem Babbelem. Po sezonie 2004/2005 został wypożyczony do beniaminka Bundesligi, 1. FC Köln. Niestety Boris opuścił dużą część sezonu z powodu kontuzji i nie zdołał uchronić kolonistów od spadku z ligi. Po sezonie powrócił z wypożyczenia do Stuttgartu. Tam jednak nie miał gwarancji, że będzie grać w sezonie 2006/2007 w Bundeslidze i na zasadzie wolnego transferu przeszedł do Hajduka Split.