Często bywał z matką w paryskim klubie jazzowym Le Chat Qui Pêche, gdzie regularnie występowali tacy artyści, jak John Coltrane, Archie Shepp, Don Cherry czy Chet Baker. Te doświadczenia uświadomiły mu, że muzyka może być „opisowa, bez słów”. Znaczący wpływ na Jarre’a miała twórczość Pierre’a Soulages’a, którego wystawy w Musée d’Art Moderne de la Ville de Paris zwiedzał. Po ujrzeniu jego obrazów, składających się z wielu warstw, Jarre miał dojść do wniosku, że „w muzyce można malować dźwiękiem i częstotliwościami”. Jarre słuchał również modernistycznej muzyki poważnej. W wywiadzie dla Guardiana w 2004 mówił o wpływie, jaki miało na niego „Święto wiosny” Strawinskiego.
W młodości zarabiał na życie, sprzedając swoje obrazy, niektóre z nich wystawiając w galerii w Lyonie – L'Œil écoute. Grał również w zespole o nazwie Mystère IV. Matka zapisała go na lekcje muzyki z Jeannine Rueff z Konserwatorium Paryskiego. W 1967 grał na gitarze w zespole The Dustbins. Eksperymentował z miksowaniem instrumentów, takich jak gitara elektryczna czy flet, a także z taśmą i innymi dźwiękami.