W 1962 roku Matt Busby niespodziewanie sprzedał 28-letniego Violleta do Stoke City za 25 tysięcy funtów po tym, jak zaliczył 179 goli w 293 występach na Old Trafford. Dołączył do zespołu odbudowywanego przez Tony’ego Waddingtona, zawierającego doświadczonych graczy, takich jak Stanley Matthews i Jackie Mudie, a także wschodzące talenty brytyjskiej piłki, jak John Ritchie, i Eric Skeels. Chociaż przychodził do Stoke jako napastnik, większość występów zaliczył jako pomocnik. Podczas pobytu w Stoke zdobył mistrzostwo Second Division w sezonie 1962/63 oraz Puchar Ligi w 1964 roku, strzelając bramkę w drugim meczu finałowym z Leicester City. W Stoke zaliczył 207 występów (jeden jako zmiennik) i strzelił 66 goli. Otrzymał wyróżnienie tuż przed jego przejściem na emeryturę w 1967 roku.
Wkrótce po opuszczeniu Victoria Ground, postanowił wznowić karierę w drużynie NASL Baltimore Bays w Stanach Zjednoczonych na jeden sezon. Po powrocie do Wielkiej Brytanii, grał dla Witton Albion, przed skończeniem kariery w Linfield jako grający menedżer, prowadząc drużynę do wygranej w Pucharze Irlandii w piłce nożnej w 1970 roku.