W maju 1973 premierę miał jego album pt. There Goes Rhymin’ Simon, który nagrał z gościnnym udziałem zespołów The Staple Singers, Dixie Hummingbirds i The Onward Brass Band. Płytę promował singlami „Kodachrome”, „Loves Me Like a Rock” i „American Tune”, które dotarły odpowiednio do drugiego, trzeciego i 35. miejsca na liście Hot 100, a pierwszy z nich rozszedł się w milionowym nakładzie. Za płytę uzyskał nominację do nagrody Grammy za album roku i najlepszy męski popowy występ wokalny. W ramach promocji albumu odbył trasę koncertową po USA i Wielkiej Brytanii, na której towarzyszyły mu zespoły Jesse Dixon Singers i Urabamba. Zapis z trasy został wydany na albumie koncertowym pt. Live Rhymin’. Po zakończeniu trasy w 1974 zaczął pisać materiał na nowy album. Wydana w październiku 1975 płyta pt. Still Crazy After All These Years rozeszła się w milionowym nakładzie i uzyskała certyfikat złotej płyty w USA. Umieścił m.in. piosenki „Have a Good Time” i „Silent Eyes”, które napisał na ścieżkę dźwiękową do filmu Hala Ashby’ego Szampon (1975), ale ostatecznie nie znalazły się w soundtracku. Promował ją także singlami: „Gone at Last” i „50 Ways to Leave Your Lover”, które dotarły odpowiednio do 23.