Bruce pewny, że był celem transferowym klubów z wyższych lig nie przedłużył kontraktu z Gillingham, kiedy to on wygasł pod koniec sezonu 1983/1984. W kwietniu 1983 roku, w spotkaniu z Newport County próbował odebrać piłkę zawodnikowi drużyny przeciwnej – Tommy’emu Tynanowi, jednak niefortunnie Bruce złamał własną nogę, przez co musiał pauzować przez sześć miesięcy. Do gry powrócił w styczniu 1984 roku, kiedy to Gillingham w czwartej rundzie Pucharu Anglii dwukrotnie zremisował z Evertonem; Bruce w obydwu meczach był podstawowym zawodnikiem. Dzięki dobrym występom przyciągnął uwagę skautów drużyn grających w First Division. Arthur Cox, szkoleniowiec Newcastle United, wykazał zainteresowanie zawodnikiem, jednak zrezygnował ze swojej funkcji i transfer nie doszedł do skutku. Bruce ostatecznie podpisał kontrakt z Norwich City w sierpniu 1984 roku. „Kanarki” zapłaciły za niego około 125 tysięcy funtów.