Rok później ten sam dziennikarz ujawił, że lider torysów płacił z pieniędzy publicznych swojej żonie, która nie wykonywała żadnej pracy w jego sekretariacieDaily Telegraph – Aide's email warning of risk to IDS triggered investigation.

W 2002 Duncan Smith próbował zmienić swój wizerunek i przedstawić się wyborcom i członkom partii jako silny przywódca, ale te próby nie przyniosły zamierzonego efektu. W 2003 grupa konserwatywnych deputowanych zaczęła domagać się głosowania nad wotum nieufności dla swojego lidera. Duncan Smith odmówił podania się do dymisji i 29 października 2003 doszło do głosowania. Za wotum nieufności opowiedziało się 90 deputowanych, przeciw było 75. Duncan Smith zrezygnował ze stanowiska 8 dni później, kiedy nowym liderem został Michael Howard.

Dalsza kariera Po utracie stanowiska Duncan Smith założył centroprawicowy think tank Centre for Social Justice. Kiedy liderem konserwatystów został David Cameron, Duncan Smith rychło stał się jednym z jego najważniejszych doradców w kwestiach gospodarczych. W 2007 nawoływał do wycofania wojsk brytyjskich z Afganistanu i skoncentrowania militarnych wysiłków w Iraku.