Stracił mistrzostwo, gdy Tommy Ryan (z którym Smith wcześniej dwukrotnie zremisował) pokonał go na punkty 26 lipca 1894 w Minneapolis.

Zremisował z Joe Walcottem 1 marca 1895, a 27 maja tego roku nie udało mu się odzyskać mistrzostwa, gdyż jego walka z Ryanem została przerwana przez policję w 18. rundzie. W tym czasie Smith zwisał bezwładnie na linach. Walkę uznano za remisową. 18 maja 1896 w Bostonie przegrał przez dyskwalifikację z Kidem McCoyem. Podobnie Ryan pokonał Smitha przez dyskwalifikację 25 listopada 1896 w Nowym Jorku.

Od 1897 Tommy Ryan walczył głównie w wadze średniej nie mogąc utrzymać limitu kategorii półśredniej. Prawo do tytułu mistrza świata w tej wadze rościli sobie m.in. Smith i Joe Walcott. Bokserzy ci zremisowali ze sobą 14 kwietnia 1898 w Bridgeport. Smith został powszechnie uznany za mistrza świata, gdy 26 sierpnia tego roku pokonał Matty'ego Matthewsa.