Sunderland 28 czerwca 2004 roku trafił do Sunderlandu. Ogółem w Newcastle United rozegrał 39 meczów we wszystkich rozgrywkach. 10 sierpnia zadebiutował w nowym klubie, w spotkaniu z Crewe Alexandra (wygrana 3:1). Cztery dni później, w meczu z Queens Park Rangers (2:2) strzelił swoją pierwszą bramkę dla Sunderlandu. Przez cały sezon 2004/2005 był podstawowym środkowym obrońcą Sunderlandu, wraz z Garym Breenem. Rozegrał 41 ligowych spotkań i wraz ze swoim zespołem wygrał Football League Championship i awansował do Premier League.

Pod koniec marca 2006 roku Caldwell odniósł kontuzję ścięgna i nie grał przed dwa tygodnie. W sezonie 2005/2006 rozegrał łącznie 26 spotkań we wszystkich rozgrywkach, a Sunderland zajął ostatnie miejsce w lidze i spadł do Championship. W rundzie jesiennej sezonu 2006/2007 zagrał w 11 spotkaniach. Caldwell był również kapitanem Sunderlandu.

Burnley 1 lutego 2007 roku przeszedł za 400 tysięcy funtów do Burnley, po rozegraniu ponad 80 występów w Sunderlandzie. Z nowym zespołem podpisał kontrakt na trzy i pół roku. Zadebiutował tam 3 lutego w przegranym 3:1 spotkaniu ligowym z Queens Park Rangers. Do końca sezonu rozegrał jeszcze 16 meczów.