Gaye był jednym z trójki dzieci; jako trzylatek zapisany został przez ojca do kościelnego chóru. Śpiewał w nim do 18. roku życia. Szybko stał się pierwszym solistą. Wspominając te lata Gaye wielokrotnie podkreślał – „Byłem wtedy najbardziej nieszczęśliwym dzieckiem na świecie. Mój ojciec uznawał twarde zasady domowego ogniska i narzucał zasady zachowania się w domu całej rodzinie. Ojciec bił mnie codziennie i dostawało mi się często bez powodu”. Muzyk mówił również, że odkąd w dzieciństwie zaczął naukę gry na pianinie i perkusji, była to jego jedyna forma rozrywki i ucieczki przed tyranią ojca.
Z osiągnięciem wieku dojrzałości Gaye odszedł z chóru, skończył szkołę średnią i wstąpił do U.S. Air Force, gdzie spędził niecały rok. Po powrocie do Waszyngtonu przyłączył się do grupy muzycznej The Marquees i nagrał z nią kilka utworów pod kierownictwem Bo Diddley Studio. Ojciec Gaye’a nie cieszył się z jego sukcesu – nie podobało mu się, że syn porzucił muzykę religijną na rzecz muzyki świeckiej.