W 1985, po obaleniu prezydenta Numajriego, powrócił do ojczyzny. 6 maja 1986, po przeprowadzeniu demokratycznych wyborów, został mianowany po raz drugi premierem. W czerwcu 1986 uformował rząd, w skład którego weszło 7 partii z północy i południa kraju. Jego gabinet był jednak niestabilny i skłócony wewnętrznie. Po niecałym roku premier rozwiązał rząd, gdyż nie był w stanie uchwalić nowego prawa karnego w miejsce szariatu, osiągnąć porozumienia z Międzynarodowym Funduszem Walutowym oraz zakończyć wojnę domową. Drugi gabinet przetrwał jednak również tylko rok i został rozwiązany w sierpniu 1987 z powodu koalicyjnego sporu o obsadę stanowisk. Tworzenie nowej koalicji zajęło premierowi 9 miesięcy. Trzeci gabinet al-Mahdiego został powołany dopiero w maju 1988. Rozpadł się on w marcu 1989 z powodu różnicy zdań wokół porozumienia z Addis Abeby z listopada 1988 wprowadzającego zawieszenie broni w wojnie domowej północy kraju z południem. Rządy al-Mahdiego zakończyły się 30 czerwca 1989, kiedy to pułkownik Umar al-Baszir dokonał wojskowego zamachu stanu, przejmując pełnię władzy. Był ostatnim premierem Sudanu aż do roku 2017, bowiem w 1989 stanowisko to zostało zniesione.