W sezonie 2008/2009 w linii obrony grał najczęściej u boku Mohameda Fofany, Daniela Congrégo i Maura Cetto.
13 czerwca 2009 roku został piłkarzem Valencii. W Primera División zadebiutował 20 września w zremisowanym 2:2 meczu ze Sportingiem Gijón. 23 lipca 2014 roku przeszedł z Valencii do FC Barcelony. Francuz kosztował Dumę Katalonii 20 mln euro. 15 stycznia 2015 roku zdobył pierwszą bramkę przeciwko Elche CF. 22 marca strzelił gola na 1-0 przeciwko Realowi Madryt. Barca wygrała 2-1.
21 czerwca 2013 przedłużył kontrakt z Valencią do 2017 roku, pomimo zainteresowania ze strony FC Barcelony i Bayernu.
24 czerwca 2020 doznał kontuzji lewego kolana i zdecydował się zakończyć profesjonalną karierę.
1 lipca 2021 wrócił do piłki, do amatorskiej francuskiej drużyny Luynes Sports. 23 października 2023 definitywnie zakończył karierę.
Kariera reprezentacyjna Mathieu został powołany do seniorskiej reprezentacji Francji na towarzyski mecz przeciwko Słowacji, który odbył się w sierpniu 2007 roku. W spotkaniu tym Jérémy jednak nie wystąpił i ostatecznie nie zadebiutował w drużynie narodowej. W tym samym roku zanotował 1 występ dla rezerw reprezentacji. Wcześniej był członkiem kadry do lat 21.