Dylan postanowił pozostać w Nowym Jorku i poświęcić się karierze śpiewaka folkowego.
Od kwietnia do września 1961 dawał występy w klubach w Greenwich Village, ówczesnym centrum artystycznego i intelektualnego fermentu. 11 kwietnia tego roku występował jako support dla Johna Lee Hookera w klubie Gerde’s Folk City. Występ w tym samym klubie z 26 września zaowocował bardzo pozytywną recenzją Roberta Sheltona w New York Times. We wrześniu został również zaproszony przez folkową piosenkarkę Carolyn Hester do gry na harmonijce przy nagrywaniu jej trzeciego albumu. Dzięki temu zwrócił uwagę producenta albumu Hester, Johna Hammonda z Columbia Records.
W 1962 nagrał w Columbia Records swój pierwszy album zatytułowany Bob Dylan zawierający 13 utworów, z których tylko dwa były jego autorstwa. Pozostałe to aranżacje tradycyjnych amerykańskich piosenek folkowych, bluesowych i gospelowych. Pierwszy album Dylana nie sprzedawał się dobrze (5000 egzemplarzy), jednak dzięki pomocy Hammonda i Johnny’ego Casha kierownictwo Columbia Records nie zerwało kontraktu z młodym piosenkarzem.
2 sierpnia 1962 artysta w Sądzie Najwyższym stanu Nowy Jork zmienił nazwisko na Bob Dylan.