Już w 2002 na własne życzenie powrócił do grona backbencherów, po tym jak wbrew dyscyplinie partyjnej poparł rządowy projekt ustawy umożliwiającej parom homoseksualnym adopcję dzieciTory resigns over adoption vote, BBC News, 2002-11-04 [dostęp 2010-07-09]. W 2003 nowy lider partii Michael Howard ponownie powołał go do gabinetu cieni jako ministra ds. rozwoju międzynarodowego, jednak Bercow szybko popadł w konflikt z Howardem i w 2004 został odwołany z tego stanowiskaProfile: Commons Speaker, John Bercow, guardian.co.uk, 2009-06-22 [dostęp 2010-07-09]. Od tego czasu pozostawał raczej na marginesie swojej partii, a w mediach pojawiały się nawet plotki, iż rozważa przejście do Partii PracyBercow defection is expected at time of maximum embarrassment, conservativehome.blogs.com, 2007-07-14 [dostęp 2010-07-09]. Ostatecznie Bercow pozostał w szeregach torysów, choć (za zgodą władz partyjnych) przyjął od Gordona Browna propozycję zasiadania w rządowym zespole doradczym ds. dzieci z problemami z porozumiewaniem się. Bercow motywował to względami osobistymi - jeden z jego synów jest dzieckiem autystycznym.