Do Rodezji powrócił w 1960 roku.
W 1963 roku był współzałożycielem Afrykańskiego Narodowego Związku Zimbabwe (ZANU). W 1964 roku za działalność opozycyjną względem reżimu białej mniejszości, został aresztowany i skazany na więzienie, gdzie spędził dziesięć lat. Do 1966 roku formalnie zostawał sekretarzem generalnym partii, którą zakładał. Po wyjściu na wolność w 1974 roku wyjechał z kraju i udał się na emigrację do Londynu. Tam ukończył studia prawnicze. W 1975 roku został politycznym liderem partyzanckiej Afrykańskiej Armii Narodowego Wyzwolenia Zimbabwe biorącej udział w wojnie rodezyjskiej. Od 1976 roku objął przywództwo w ZANU. W latach wojny podjął współpracę z konkurencyjną grupą narodowowyzwoleńczą Afrykański Ludowy Związek Zimbabwe (ZAPU) i wziął udział w spotkaniu z jej liderem Joshuą Nkomo zorganizowanym przez prezydenta Tanzanii, Juliusa Nyerere.
Premier Zimbabwe Pierwsze wolne wybory w 1980 roku przyniosły zwycięstwo ZANU, które uzyskało poparcie największej narodowości kraju – Szona (24% głosów w skali kraju) i Mugabe otrzymał urząd premiera. Władzę objęła koalicja ZANU, ZAPU i partii białych – Frontu Zimbabwe. Większość ważnych stanowisk pozostała w rękach białych.