W tym czasie bardzo dużo pisał. Był bliski ukończenia książki Tarantula. „Napisałem coś długiego na dwadzieścia stron i z tego wyciągnąłem 'Like a Rolling Stone'”, powiedział w 1966 roku.
Planował nagrać singel i razem z producentem Tomem Wilsonem rozpoczął kompletować zespół. Zatrudnił Mike’a Bloomfielda, gitarzystę zespołu Paul Butterfield Blues Band, którego spotkał już wcześniej w Chicago w 1963 roku. Na sesji z 15 lipca w Nowym Jorku w studiu wytwórni Columbia byli też obecni: pianista Frank Owens, basista Russ Savakus, perkusista Bobby Gregg i gitarzysta Al Kooper, młody muzyk zaproszony przez Wilsona.
15 lipca muzycy pracowali nad „It Takes a Lot to Laugh, It Takes a Train to Cry”, „Sitting on a Barbed Wire Fence,” i „Like a Rolling Stone”. Po nieudanych próbach z pierwszymi dwoma utworami, Dylan postanowił spróbować z „Like a Rolling Stone”.
Po kilku wykonaniach, które nie usatysfakcjonowały Dylana, postanowił zmienić plany i użyć w tym utworze równocześnie pianina wraz z organami. Kooper zgłosił się na ochotnika do gry na organach i mimo że Wilson wiedział, iż on nigdy nie grał na tym instrumencie, zezwolił mu na grę. Partia organów autorstwa Koopera spodobała się Dylanowi.