W 2001 r. stanął przeciwko Iainowi Smithowi, Michaelowi Portillo, Kennethowi Clarke’owi i Davidowi Davisowi w wyborach na lidera konserwatystów. Przegrał jednak w pierwszej turze wyborów. Ancram poparł następnie Smitha, który wygrał wybory i mianował Ancrama zastępcą lidera Partii Konserwatywnej i ministrem spraw zagranicznych w gabinecie cieni. Ancram utrzymał się na tym stanowisku do 2003 r., kiedy nowym liderem partii został Michael Howard. W 2005 r. był ministrem obrony w gabinecie cieni, z którego odszedł, gdy wybory na lidera partii wygrał David Cameron. W 2006 r. zasiadł w Komisji Wywiadu i Bezpieczeństwa.
W 2005 r. Ancram złożył podpis pod regułami Henry Jackson Society, która zakładała szerzenie na świecie zasad liberalnej demokracji, nawet jeśli do jej wprowadzenia konieczne będzie użycie siły. Ancram był mimo tego pierwszym ze starszych działaczy konserwatystów, który 21 kwietnia 2006 r. wypowiedział się przeciwko obecności wojsk brytyjskich w Iraku, stwierdzając, że ten kraj pogrążył się w wojnie domowej, a dla Zjednoczonego Królestwa jest to „ostatnia szansa, aby wycofać się z Iraku z godnością i honorem”.