W lipcu 1990 Townsend został zawodnikiem Chelsea F.C., a suma transferu wyniosła 1,2 miliona funtów. W zespole „The Blues” swoje pierwsze spotkanie rozegrał 25 sierpnia przeciwko Derby County, wygrane przez Chelsea 2:1. W Chelsea Irlandczyk grał przez trzy sezony będąc członkiem podstawowego składu. Rozegrał 110 meczów, zdobył 12 goli, ale nie odniósł znaczących sukcesów.
Kolejnym klubem w karierze irlandzkiego pomocnika była Aston Villa F.C., do której trafił on w lipcu 1993 roku za 2,1 miliona funtów. 14 sierpnia miał miejsce debiut Andy’ego w „The Villans”, w zwycięskim 4:1 meczu z Queens Park Rangers. W 1994 roku zdobył z Aston Villą Puchar Ligi Angielskiej, dzięki zwycięstwu 3:1 w finale nad Manchesterem United. Z kolei w 1996 roku powtórzył to osiągnięcie – klub z Birmingham zwyciężył 3:0 z Leeds United. W Aston Villi Townsend grał do lata 1987 i wystąpił w 135 spotkaniach, w których zdobył 8 goli. W „The Villans” grał wraz z rodakami Paulem McGrathem, Steve’em Stauntonem, Rayem Houghtonem i Garethem Farrelllym.