Z powodu odniesionych ran porzucił ją i powrócił do Hiszpanii, gdzie budował organy aż do powrotu do Francji w 1805 roku.
Dzieciństwo i młodość thumb|175px|Claude Jules Grenier, Aristide Cavaillé-Coll w wieku 25 lat Aristide Cavaillé-Coll przyszedł na świat 4 lutego 1811 roku w Montpellier, jako drugi syn Dominique’a Cavaillé-Colla i jego żony Jeanne Autard. Miał starszego o trzy lata brata Vincenta, który również był budowniczym organów. Niepokoje społeczne w południowej Francji spowodowane powrotem Burbonów na tron w 1814 roku spowodowały, że jego ojciec Dominique przeniósł rodzinę do Léridy w Hiszpanii. Aristide, który miał zaledwie pięć lat, otrzymał tam jedynie cząstkowe wykształcenie szkolne i przez to przez całe życie miał problemy z ortografią. Nie miał żadnego wykształcenia muzycznego, nie umiał się grać na żadnym instrumencie ani nie posiadał wiedzy z zakresu teorii muzyki.