W dzieciństwie Dibango powoli zapomniał język Bassa na korzyść dialektu Duala. Jego rodzina nadal żyje społeczności Bassa, na płaskowyżu Bassa, w pobliżu rzeki Wouri. Po śmierci wujka Dibango, który był przywódcą swego ludu, ojciec Dibango odmówił przejęcia przez syna władzy, argumentując, że nigdy w pełni nie wpoił w niego zwyczajów tego ludu.
Od wczesnych lat uczył się muzyki i religii w kościele protestanckim w Duali. W 1941 po zakończeniu pierwszego etapu edukacji, Dibango został przyjęty do szkoły kolonialnej w pobliżu swego domu, gdzie uczył się francuskiego. Podziwiał nauczyciela, którego opisywał jako „nadzwyczajny rysownik i malarz”Dibango, Rouard & Raps 1994, str. 5.
W 1944 w tej szkole odbyły się ceremonie powitalne związane z przybyciem do Kamerunu francuskiego prezydenta Charles'a de Gaulle'aDibango, Rouard & Raps 1994, str. 6.