Sukcesu debiutu nie powtórzyły ich kolejne single, które wydała Big Records: „Don’t Say Goodbye”, „Our Song” i „Baby Talk”. Występowali też pod nazwą Kane and Garr.
Po napisaniu piosenki „He Was My Brother” podpisali kontrakt z wytwórnią Columbia Records i przyjęli nazwę Simon & Garfunkel. W październiku 1964 wydali swój debiutancki album studyjny pt. Wednesday Morning, 3 A.M., na którym umieścili folkowy materiał. Płyta nie wzbudziła zainteresowania słuchaczy zarówno w Stanach Zjednoczonych, jak i w Wielkiej Brytanii, gdzie solowo koncertował Simon. Sytuacja zmieniła się za sprawą prezentera WBZ Radio w Bostonie, który zaczął regularnie nadawać piosenkę „The Sound of Silence” z Wednesday…. Utwór stał się przebojem głównie wśród studentów, a na fali popularności zyskał wydany na singli w odświeżonej, folk rockowej wersji i dotarł do pierwszego miejsca na liście przebojów Hot 100. Muzycy, wykorzystując zainteresowanie singlem, w ciągu trzech tygodni nagrali album pt. Sounds of Silence, na której umieścili m.in. nowe wersje utworów z debiutanckiej płyty Simona. Album, wydany w lutym 1966, promowali singlami: „Homeward Bound” i „I Am a Rock”, które dotarły odpowiednio do piątego i trzeciego miejsca na liście Hot 100, a także były notowane na UK Singles Chart.