Jego następcą został mianowany dopiero w lutym 2007 Eugène Camara.
Po odejściu z rządu, przystąpił do opozycji. 7 listopada 2007 został wybrany przewodniczącym Unii Sił Demokratycznych Gwinei (Union des forces démocratiques de Guinée, UFDG).
Po dokonaniu w grudniu 2008 zamachu stanu po śmierci prezydenta Conté przez juntę wojskową, Diallo domagał się od nowych władz powrotu do rządów cywilnych i organizacji wolnych wyborów. W tym celu, wraz z innymi liderami opozycji, utworzył koalicję Forum Żywych Sił Gwinei (FFVG). Po wyznaczeniu daty wyborów prezydenckich na styczeń 2010, zamierzał wziąć w nich udział.
28 września 2009 uczestniczył w zorganizowanym przez opozycję proteście w Konakry przeciwko planom startu w wyborach lidera rządzącej junty wojskowej Moussy Dadis Camary. W trakcie brutalnej pacyfikacji wiecu został pobity do nieprzytomności, a jego dom splądrowany i ograbiony. Zaraz po masakrze został objęty zakazem opuszczania kraju, jednak później został przetransportowany samolotem na leczenie do szpitala w Dakarze i Paryżu.