Historia i charakter utworu Utwór ten rozpoczął być nagrywany na czwartej sesji do albumu, na początku marca 1970 r. Innymi piosenkami pochodzącymi z tej sesji były: „All the Tired Horses” i „Wigwam”. Powstało wtedy tylko wokalne nagranie piosenki. 5 marca (sesja 7) Dylan z zupełnie nieznanych powodów dokonał overdubbingu ścieżki wokalnej piosenki. Jest to pierwszy wypadek w jego karierze i niezwykle rzadki. Sesje od 8 do 14 były instrumentalnymi sesjami overdubbingowymi, które odbywały się bez obecności Dylana i jakiejkolwiek ingerencji z jego strony.
Piosenka ta została skomponowana przez Paula Simona w okresie od lata do grudnia 1968 r. Przeznaczona była do filmu Roda Serlinga Requiem for a Heavyweight. Film opisywał dziwne życie samotnika żyjącego na marginesie społeczeństwa. W biografii zespołu Simon and GarfunkelVictoria Kingston. Simon & Garfunkel: The Definitive Biography. Sidgwick & Jackson, London, 1996. Paul Simon twierdzi, że słowa do pierwszej zwrotki powstały równolegle z muzyką.
W tej samej książce Kingston odnotowuje fakt, iż pojawiły się plotki, że „The Boxer” opisuje życie Boba Dylana.