W sezonie 2006/2007 trener zespołu Armin Veh stanowczo postawił na parę Delpierre – Fernando Meira w środku obrony i zespół spisywał się na tyle udanie, że na koniec sezonu wywalczył mistrzostwo Niemiec. Delpierre z VfB dotarł także do finału Pucharu Niemiec, ale przegrał w nim z 2:3 z 1. FC Nürnberg. Dobra postawa Matthieu spowodowała, że zawodnikiem zainteresowały się takie kluby jak Bayern Monachium, Arsenal F.C., Olympique Marsylia i AS Saint-Étienne, ale francuski obrońca przedłużył kontrakt ze Stuttgartem do 2012 roku. W sezonie 2009/2010 został wybrany przez Markusa Babela kapitanem drużyny, zastępując na tym stanowisku Thomasa Hitlzspergera.
Latem 2012 roku Delpierre przeszedł do TSG 1899 Hoffenheim, w którym zadebiutował 25 sierpnia 2012 w przegranym 1:2 wyjazdowym meczu z Borussią Mönchengladbach. W Hoffenheim grał przez rok.
W 2014 roku Delpierre trafił do holenderskiego FC Utrecht. W Eredivisie swój debiut zaliczył 2 lutego 2014 w zremisowanym 1:1 domowym meczu z Ajaksem. W Utrechcie spędził pół roku.
Latem 2014 roku Delpierre został zawodnikiem australijskiego Melbourne Victory. W A-League zadebiutował 10 października 2014 w wygranym 4:1 domowym meczu z Western Sydney Wanderers FC. W sezonie 2014/2015 wywalczył tytuł mistrza Australii.