Po odejściu w sierpniu 2007 roku Wayne'a Thomasa, Caldwell został kapitanem Burnley i jest nim do dziś.

Pod koniec października 2007 roku doznał kontuzji ścięgna udowego. Do gry powrócił 22 grudnia, kiedy to wystąpił w spotkaniu z Ipswich Town. 26 lutego 2008 roku w wygranym 2:0 ligowym spotkaniu z Coventry City zdobył swoją pierwszą bramkę w Premier League. Cały sezon 2007/2008 zakończył z 37 występami we wszystkich rozgrywkach. W sezonie 2008/2009 rozegrał 25 spotkań ligowych, zdobywając przy tym dwa gole. Wraz ze swoim zespołem awansował do Premier League po wygranej w finale play-offów z Sheffield United.

Na zgrupowaniu reprezentacji Szkocji w sierpniu 2009 roku Caldwell odniósł kontuzję pachwiny. Pod koniec września 2009 roku powrócił do treningów, a 3 października zagrał już w ligowym meczu z Birmingham City. W grudniu Caldwell ponownie odniósł uraz pachwiny. 11 maja 2010 roku Caldwell opuścił Burnley i stał się wolnym zawodnikiem. W zespole tym rozegrał łącznie 119 meczów. Wigan Athletic F.C. 26 sierpnia podpisał kontrakt roczny z Wigan Athletic.

Birmingham City W lipcu 2011 roku podpisał dwuletni kontrakt z Birmingham City.