Pozostawał w tym czasie najmłodszym członkiem gabinetu.
Następnie przez szereg lat był kolejno ministrem energii, zatrudnienia oraz handlu i przemysłu w kolejnych gabinetach cieni rodzimej partii. Od 1983 reprezentował okręg wyborczy Monklands East. Smith był bardzo znanym i poważanym deputowanym, o czym świadczy przyznanie mu lauru Parlamentarzysty Roku (dwukrotnie w latach 1986 i 1989). W 1987 został opozycyjnym Kanclerzem Skarbu. W 1988 przeżył atak serca, ale na trzy miesiące musiał zrezygnował z działalności w parlamencie. Aby uniknąć dalszych problemów Smith zmienił dietę i zaczął prowadzić zdrowy tryb życia, rzucił również palenie.
W latach 1992–1994 był przywódcą Partii Pracy. Zastąpił na tym stanowisku Neila Kinnocka. W połowie lat 90. był faworytem opinii publicznej do zajęcia fotela premiera jednak jego nieoczekiwana śmierć uniemożliwiła to. 12 maja 1994 w godzinach porannych doznał drugiego ataku serca. Został przewieziony do szpitala i tam zmarł nie odzyskawszy świadomości.