W drugiej połowie lat 70. XX wieku był attaché wojskowym Egiptu w Stanach Zjednoczonych. W maju 1980 został szefem sztabu armii egipskiej, zaś w 1981 objął resort obrony. 6 października 1981, gdy podczas parady wojskowej w rocznicę przekroczenia Kanału Sueskiego przez armię egipską w wojnie Jom Kipur terroryści islamscy dokonali udanego zamachu na prezydenta kraju Anwara as-Sadata, Abu Ghazala znajdował się obok niego na trybunie honorowej. Nie odniósł jednak żadnych obrażeń. Gdy nowym prezydentem Egiptu został dotychczasowy wiceprezydent Husni Mubarak, Abu Ghazala w imieniu armii ślubował mu lojalność.
W 1982 otrzymał awans na stopień marszałka wojsk lądowych. Był zwolennikiem reformy w armii egipskiej, bliskiej współpracy Egiptu z USA, w tym dopuszczeniem do kraju amerykańskich inwestorów, był antykomunistą i konserwatystą, podkreślał swoje przywiązanie do islamu. Należał do Biura Politycznego Partii Narodowo-Demokratycznej. W 1984 został z niego usunięty przez prezydenta Mubaraka, oficjalnie w celu ograniczenia politycznego zaangażowania armii, faktycznie zaś dlatego, iż prezydent obawiał się wzrostu wpływów popularnego wojskowego. Brał udział w tłumieniu buntów służby bezpieczeństwa oraz strajku maszynistów w 1986, nie popierał przy tym polityki zwalczania opozycji prowadzonej przez ministra spraw wewnętrznych Badra.