W okresie jego pierwszej poważnej posady menedżerskiej, trzon prowadzonej przez niego drużyny stanowili: Teddy Sheringham, Keith Stevens, John Fashanu, Les Briley, Ian Dawes oraz Alan McLeary.
14 maja 1986 roku Graham, którego talent trenerski zaczęto doceniać, powrócił na Highbury, tym razem w roli opiekuna pierwszej drużyny. Wraz z objęciem przez niego posady rozpoczęły się czasy, w których Arsenal słynął z doskonale dopracowanej gry w defensywie (opartej na pułapce ofsajdowej, która nie była wówczas zanadto eksploatowana przez kluby). Grze prowadzonym przezeń Kanonierów często towarzyszyła znana na Wyspach przyśpiewka: Boring, boring, boring Arsenal (Nudny, nudny, nudny Arsenal). Żelaznej konsekwencji wpojonej zawodnikom przez bossa, zawodnicy zawdzięczają jednak szereg różnych trofeów w ciągu najbliższych ośmiu lat: Carling Cup z 1987 i 1993, FA Cup z 1993, dwa mistrzostwa Anglii (1989 i 1991) oraz Puchar Zdobywców Pucharów z 1994 roku. Ostatni z wymienionych sukcesów prowadzeni przez niego gracze odnieśli po zwycięstwie 1:0 nad włoską Parmą na stadionie Parken w Kopenhadze. Po pasmie sukcesów przyszedł jednak spory kryzys, w wyniku którego Arsenal zajmował miejsce w dolnej części tabeli.