Nagranie do "It Hurts To Be Alone" zarejestrowane zostało na krótko przed wylotem Braithwaite'a do USA w ostatnich dniach sierpnia 1964 roku. Postanowił on porzucić karierę wokalisty i opuścił zespół, dołączając do swoich rodziców w Chicago, gdzie planował studiować medycynę i zostać lekarzem. Podjął naukę w katolickim liceum St. Mel High School, następnie zaś dostał się na studia medyczne na Uniwersytecie Chicagowskim. Jako że nigdy nie rozstawał się z muzyką i śpiewem, zyskał na uczelni pseudonim "The Singing Doctor". Zaczął odbywać praktyki lekarskie, jednak przez kłopoty z narkotykami stracił licencję na wykonywanie zawodu, co uniemożliwiło mu znalezienie pracy. W czerwcu 1975 roku w klubie nocnym Quiet Knight spotkał Marleya, który występował tam w ramach trasy koncertowej Natty Dread Tour. Będący już wówczas gwiazdą światowego formatu Marley zaproponował Braithwaite'owi powrót do The Wailers, jednak ten zmuszony był odmówić, gdyż podobnie jak wielu innych jamajskich imigrantów nie miał wystarczająco pieniędzy by móc wrócić do rodzinnego kraju.