Ostatecznie jednak 30 czerwca 2008 roku Gouffran podpisał kontrakt z zespołem Girondins Bordeaux, który zapłacił za niego 6,5 miliona euro. Z Bordeaux wywalczył mistrzostwo Francji i Puchar Ligi Francuskiej w sezonie 2008/2009, a także Trophée des Champions w 2008 i 2009 roku. 30 maja 2009 roku, w ostatnim meczu rozgrywek strzelił jedynego gola w wygranym 1:0 meczu z Caen, przez co jego były zespół spadł do drugiej ligi. 7 maja 2012 roku, w meczu z AJ Auxerre, zdobył bramkę już po 13 sekundach, co plasuje go wśród najszybszych strzelców w historii Ligue 1.
23 stycznia 2013 roku podpisał kontrakt z Newcastle United. W sezonie 2016/2017 był częścią mistrzowskiego Newcastle, które wygrało Championship. W tamtym sezonie wystąpił 45 razy we wszystkich rozgrywkach i zdobył siedem bramek.
Ostatnim klubem w karierze Gouffrana był FC Ararat-Armenia, którego barwy reprezentował od lutego 2020 do października 2021.