Płyta zebrała pozytywne recenzje, ale poniosła sprzedażową porażkę, docierając do zaledwie 25. miejsca na liście Billboard 200. W 1984 odbył kolejną trasę koncertową.
Zafascynowany brzmieniami południowoafrykańskimi, nagrał album pt. Graceland, na którym połączył amerykańską muzykę folkową z muzyką afrykańską. Płytę, która rozeszła się w ponad milionowym nakładzie, zapowiadał dobrze przyjętym singlem „You Can Call Me Al”, a po premierze wydał jeszcze trzy single: „Boy in the Bubble”, „Graceland” i „Under African Skies”, które były notowane na liście Hot 100. Mimo sukcesu krążka, część odbiorców zarzucało Simonowi zawłaszczenie kulturowe. Po wydaniu albumu odbył światową trasę koncertową. W 1988 nakładem wytwórni Warner Bros. Records ukazał się album kompilacyjny pt. Negotiations and Love Songs, który dotarł do 110. miejsca na liście Billboard 200. Pod koniec 1990 wydał album pt. The Rhythm of the Saints inspirowany muzyką brazylijską, który dotarł do piątego miejsca na Billboard 200 i po miesiącu od premiery rozszedł się w milionowym nakładzie. Płytę promował podczas trasy koncertowej, w trakcie której 15 sierpnia 1991 wystąpił w Central Parku przed 750 tys.