Upadek Mandelsona nastąpił w grudniu 1998, kiedy wyszło na jaw, że w 1996 kupił dom w Notting Hill za nieoprocentowaną pożyczkę udzieloną mu przez związanego z Partią Pracy milionera, Geoffreya Robinsona. Mandelson przyznał się do błędu i 23 grudnia podał się do dymisji. Poza rządem pozostawał przez 10 miesięcy. W październiku 1999 otrzymał stanowisko ministra ds. Irlandii Północnej. Już w swoim pierwszym przemówieniu podczas sprawowania urzędu popełnił gafę, nazywając siebie ministrem ds. Irlandii.

W styczniu 2001 pojawiły się pogłoski, że Mandelson telefonował do ministra w Home Office, Mike’a O’Briena, w sprawie Srichanda Hinduji, hinduskiego biznesmena, który ubiegał się o brytyjskie obywatelstwo. Rodzina Hinduji była głównym sponsorem „Faith Zone” w Millennium Dome. W tym czasie Hinduja i jego bracia byli zamieszani w korupcyjny „skandal Boforsa” a w Indiach toczyło się śledztwo w ich sprawie. 24 stycznia Mandelson został usunięty z rządu, chociaż zapewniał o swej niewinności. Po wyborach 2001 Mandelson został przewodniczącym Policy Netword oraz brytyjsko-japońskiej Grupy XXI wieku.

Mandelson zrezygnował z miejsca w Izbie Gmin 8 września 2004. 22 listopada otrzymał nominację na komisarza Unii Europejskiej ds. handlu.