Choć nauczył się grać na gitarze w wieku trzynastu lat, a wcześniej zaczął pisać piosenki, początkowo traktował muzykę w sposób czysto rekreacyjny i nie zamierzał zostać piosenkarzem. Nigdy też nie był wybitnym instrumentalistą. Przypadkową sławę przyniosła mu piosenka „Suzanne”, której profesjonalną wersję nagrała folkowa piosenkarka Judy Collins. Utwór ten stał się radiowym przebojem w 1965. Collins wprowadziła Cohena w środowisko muzyki folk. Pierwszy publiczny występ Cohena jako piosenkarza odbył się 30 kwietnia 1967 w Town Hall w Nowym Jorku, na koncercie charytatywnym na rzecz organizacji domagającej się zaprzestania prób z bronią jądrową (The Committee for a SANE Nuclear Policy). Collins namówiła Cohena, by wystąpił z nią na w 1967. Wydany w tym samym roku album Songs of Leonard Cohen zawiera przeboje: „Suzanne”, „Sisters of Mercy”, „So Long, Marianne” i „Hey, That’s No Way to Say Goodbye”. Album odniósł wielki sukces.