Dylan po raz pierwszy nagrał If Not for You na 7 sesji do albumu Self Portrait 5 marca 1970 r. Najwyraźniej jednak piosenkę uważał za na tyle ważną i udaną, iż ponownie zaczął pracować nad nią na sesjach do New Morning. W efekcie powstała jedna najbardziej chwytliwych piosenek Dylana o miłości. Sesja trzecia była sesją, w której udział wziął George Harrison. New Musical Express obwieścił nawet, że Dylan i Harrison przygotowują wspólny albumBroszurka do albumu The Bootleg Series Volumes 1–3 (Rare & Unreleased) 1961–1991 s. 33.. Nie było to prawdą, jednak kompozycja If Not for You zarówno przez Dylana i Harrisona została oceniona tak wysoko, że Dylan nagrał ją ponownie 2 czerwca i umieścił na albumie. Również Harrison nagrał ten utwór i umieścił go na swoim albumie All Things Must Pass. Produkcją nagrania oprócz Harrisona zajął się także Phil Spector. Dylan zawsze twierdził, że napisał tę piosenkę z myślą o swojej ówczesnej żonie Sarah Lownds.
Prawdopodobnie najlepiej jego uczucia do Sary oddaje instrumentalna partia utworu, podczas której kontrastują ze sobą pełna namiętności partia harmonijki oraz przesłodzona partia gitary hawajskiej.