Można też doszukać się w nim wpływów muzyki country, będących charakterystyczną cechą późniejszego albumu Sweetheart of the Rodeo.
thumb|left|The Byrds
Decyzja o nagraniu „Goin' Back” doprowadziła do spięć w grupie, powodowanych głównie przez Davida Crosby’ego, pełniącego wówczas rolę gitarzysty rytmicznego, który nie podzielał entuzjazmu wobec tego utworu. Uważał, że jest zbyt lekki, typowy dla popularnego na przełomie lat 1950. i 1960. stylu Brill Building. Dodatkowo okazało się, że utwór konkuruje z jego własną piosenką, „Triad”, o miejsce na albumie The Notorious Byrd Brothers. Ostatecznie Crosby odmówił wzięcia udziału w nagrywaniu i został wyrzucony z zespołu, a „Goin' Back” został umieszczony na albumie oraz wydany jako singel.
Niektórzy krytycy błędnie uważali, że wersja z singla została nagrana w innym podejściu niż ta z albumu. Analiza zapisów z sesji nagraniowej wykazała jednak, że singel zawiera tę samą wersję utworu, co album. Pomyłkę mógł powodować fakt, że monofoniczna wersja singlowa została zmiksowana nieco inaczej niż ta umieszczona na albumie.