Lider opozycji Porażka konserwatystów w wyborach 2001 sprawił, że Howard powrócił do aktywnej działalności politycznej. Nowy lider konserwatystów, Iain Duncan Smith, powierzył mu stanowisko Kanclerza Skarbu w gabinecie cieni. Po usunięciu Smitha ze stanowiska lidera partii wybory w listopadzie 2003 wygrał Howard i stanął na czele gabinetu cieni. Uważany był za efektywniejszego lidera Opozycji niż jego poprzednicy. Często krytykował politykę gabinetu Tony’ego Blaira, zwłaszcza w kwestii zaangażowania Wielkiej Brytanii w Iraku.
W 2003 The Spectator przyznał Howardowi tytuł Parlamentarzysty Roku, głównie za jego działania na stanowisku opozycyjnego Kanclerza Skarbu.
Do wyborów w maju 2005 Howard poprowadził Partię Konserwatywną pod hasłami zmiany polityki karnej oraz prawa imigracyjnego i podatkowe. Wybory zakończyły się jednak kolejną porażką konserwatystów, jednak partia Howarda zyskała 33 miejsca w Izbie Gmin. Przewaga Partii Pracy stopniała ze 167 do 66 miejsc w parlamencie. Następnego dnia po wyborach Howard ogłosił, że nie poprowadzi Partii Konserwatywnej w następnych wyborach i jak najszybciej zrezygnuje ze stanowiska lidera partii.