W 1986 roku związał się z klubem, któremu kibicował od dziecka – Rangers, gdzie również powoli pokonywał kolejne szczeble piłkarskiej hierarchii. Zaczynał jako asystent Graeme'a Sounessa. Po jego rezygnacji przez siedem lat był pierwszym szkoleniowcem; w tym czasie zdobył z klubem siedem tytułów mistrza kraju. Drużyna w rozgrywkach ligowych była niepokonana aż do 1998 roku, kiedy musiała oddać prymat Celticowi. Zgodnie z wcześniejszymi zapowiedziami, latem tego roku Smith pożegnał się z zespołem.
Lata 1998–2004 to praca w angielskiej Premier League. Pracował w Evertonie i Manchesterze United, gdzie ponownie pomagał swojemu rodakowi Fergusonowi.
W 2004 roku po zdymisjonowaniu Bertiego Vogtsa ze stanowiska selekcjonera reprezentacji Szkocji to właśnie Smithowi zaproponowano budowę nowej kadry. Po przegranych eliminacjach do Mundialu 2006 rozpoczął przygotowania do kwalifikacji do Euro 2008. Szkoci pod jego prowadzeniem pokonali wicemistrzów świata Francuzów oraz Wyspy Owcze i Litwę. Zanotowali tylko jedną porażkę, z Ukrainą. Po meczach jesiennych Szkocja zajmowała w tabeli drugie miejsce, wyprzedzając m.in. mistrzów świata Włochów.