Obawiając się nadchodzącej epidemii, rodzina Cavaillé-Collów wróciła do Francji w 1822 roku i zamieszkała w Tuluzie. Aristide już w młodym wieku wykazywał duże zdolności manualne. W wieku jedenastu lat pracował na specjalnie dla niego wykonanym stole warsztatowym i wykazywał również talent matematyczny. W 1829 ojciec wysłał Aristide’a, który miał zaledwie 18 lat, do Léridy, aby dokończył instrument, który pozostawił uciekając w obawie przed epidemią. Aristide, pracując przy organach, wprowadzał wiele innowacji, jednak część z nich, ku jego rozczarowaniu, okazywała się być już odkryta przez innych wynalazców.
Po powrocie do Tuluzy, wraz z ojcem i bratem, opracował poïkilorgue, instrument podobny do fisharmonii, przeznaczony do użytku w muzyce kameralnej. Jedyne dwa egzemplarze tego instrumentu znajdują się obecnie w Musée des arts et métiers. Podczas wizyty Gioachina Rossiniego w Tuluzie Aristide zauważył, że Rossini dyrygował w Tuluzie operą, w której oprócz orkiestry potrzebne były organy. Ponieważ tuluska opera nie posiadała organów, przekazał jej swój nowo opracowany instrument. Rossini był zachwycony jej brzmieniem i zachęcił Aristide’a do wyjazdu do Paryża.
W 1833 r. Cavaillé-Coll wynalazł piłę tarczową, za co 19 marca 1834 r.