W czasie alkoholowego „seansu” Dylan-narrator wspomina swoją przeszłość poprzez przypominanie różnych rzeczy i zdarzeń: napływu pieniędzy, utraty przyjaciół, barów, kobiet, zwycięstw i porażek, łącznie z ciężkimi i przygnębiającymi myślami, które doprowadziły go do właśnie tego momentu. Jednak piosenka kończy się optymistycznie, narrator wyznaje, że mimo utraconej miłości przetrwa.
Uważa się także, iż „Restless Farewell” wraz z kilkoma innymi piosenkami tego okresu, są pożegnaniem z publicznością folkową i środowiskiem folkowym i ich wymaganiami, które Dylana po prostu męczyły.
Wersje Dylana 31 października 1963 r. – sesja nagraniowa do albumu. Powstały co najmniej cztery wersje utworu. 1 lutego 1964 r. – nagrania w kanadyjskiej TV CBC w Toronto dla programu „The Times They Are a-Changin’" 25 lutego 1964 r. – nagrania w studiu TV NBC w Los Angeles dla programu „Steve Allan Show”. 17 maja 1964 r. – koncert w Royal Festival Hall w Londynie. Występ został nagrany przez Pye Records, jednak nagrania do dziś się nie ukazały. W 1996 r. Dylan wykonał ten utwór na koncercie z okazji 80-lecia urodzin Franka Sinatry. Ta przearanżowana wersja jest uważana za najlepsze wykonanie tego utworu.