Spędził tam kolejne dwa lata.
W 1980 roku Withe trafił do Aston Villi (First Division). W 1981 roku zdobył z nią mistrzostwo Anglii, a także został królem strzelców First Division. W 1982 roku zwyciężył z zespołem w rozgrywkach Pucharu Mistrzów, a rok później wygrał z nim Superpuchar UEFA.
W 1985 roku Withe przeszedł do Sheffield United. W 1987 roku był stamtąd wypożyczony do Birmingham City. W 1989 roku został graczem zespołu Huddersfield Town, gdzie w 1990 roku zakończył karierę.
Kariera reprezentacyjna W reprezentacji Anglii Withe zadebiutował 12 maja 1981 roku w przegranym 0:1 towarzyskim meczu z Brazylią. W 1982 roku został powołany do kadry na mistrzostwa świata. Nie zagrał jednak na nich w żadnym pojedynku a Anglia zakończyła udział na drugiej rundzie. W latach 1981–1984 w drużynie narodowej Withe rozegrał w sumie 11 spotkań i zdobył 1 bramkę.
Kariera trenerska Po zakończeniu kariery Withe został trenerem. Jego pierwszym klubem był Wimbledon, który prowadził w 1991 roku. W 1998 roku został selekcjonerem reprezentacji Tajlandii. W 2000 roku wystąpił z nią w Pucharze Azji, który Tajlandia zakończyła na fazie grupowej.