5 grudnia 2001 roku w ligowym meczu z Charlton Athletic FC po raz pierwszy pełnił funkcję kapitana drużyny. Na stałe został nim w 2004 roku. W sezonie 2007/2008 wraz z Chelsea FC dotarł do finału Ligi Mistrzów UEFA, w którym klub z Londynu przegrał z Manchester United FC. John Terry rozpoczął mecz w podstawowym składzie, wystąpił również w dogrywce, natomiast w serii rzutów karnych nie zdobył gola (strzelona przez niego bramka przesądziłaby o zwycięstwie Chelsea FC). Cztery lata później (2012) z zespołem z Londynu wygrał rozgrywki Ligi Mistrzów UEFA – w finałowym meczu z Bayernem Monachium nie wystąpił z powodu czerwonej kartki, którą został ukarany w spotkaniu półfinałowym z FC Barcelona, lecz regularnie grał we wcześniejszych rundach (strzelił m.in. gola w pojedynku z SSC Napoli (4:1), przyczyniając się do awansu Chelsea FC do ćwierćfinału).
Wraz z klubem z Londynu pięciokrotnie został mistrzem Anglii (2005, 2006, 2010, 2015, 2017), pięciokrotnie zdobył puchar kraju (2000, 2007, 2009, 2010, 2012), trzykrotnie wywalczył Puchar Ligi Angielskiej (2005, 2007, 2015) oraz dwa razy sięgnął po Tarczę Wspólnoty (2005, 2009). W 2001 i 2006 roku został wybrany najlepszym zawodnikiem Chelsea FC.