W lipcu 1996 wszedł w skład rządu Sidyi Touré, w którym objął stanowisko ministra transportu, telekomunikacji i turystyki. W październiku 1997 został mianowany w nim ministrem infrastruktury (odpowiedzialnym za transport, roboty publiczne, telekomunikację i środowisko). W marcu 1999 objął stanowisko ministra robót publicznych i transportu w gabinecie Lamine'a Sidimé, które zajmował przez 5 lat. W lutym 2004 stanął na czele Ministerstwa Rybołówstwa i Akwakultury w rządzie François Lonseny Falla.
9 grudnia 2004 Diallo został mianowany przez prezydenta Lansanę Conté szefem rządu. Wcześniej, od kwietnia 2004 urząd premiera był nieobsadzony. Jako premier zyskał sobie uznanie i przychylność międzynarodowych organizacji finansowych i pomocowych. Jego rząd targany był jednak wewnętrznymi konfliktami i walkami o wpływy. W celu wzmocnienia swojej pozycji, 4 kwietnia 2006 Diallo dokonał zmian w gabinecie, dymisjonując część z ministrów i zastępując ich swoimi współpracownikami. Sam przejął kontrolę nad sektorem gospodarki, finansów, współpracy międzynarodowej i planowania. Jednak już następnego dnia, w ogłoszonym w radiu dekrecie, prezydent Conté unieważnił dokonane zmiany i zdymisjonował Diallo ze stanowiska z powodu „poważnych zaniedbań”.