Ulubionym organistą Cavaillé-Colla był Louis Lefébure-Wély, znany ze swoich umiejętności improwizatorskich. Podobnie jak Aristide, Lefébure-Wély był atakowany przez Danjou za, profanującą grę organową. Entuzjazm Cavaillé-Coll dla Lefébure-Wély’ego osłabł dopiero, gdy w 1850 roku poznał belgijskiego organistę Jacques’a-Nicolasa Lemmensa, ucznia Adolfa Hessego. Lemmens był zachwycony organami Cavaillé-Colla, które widział w Paryżu, natomiast Cavaillé-Coll był zachwycony połączeniem bachowskiego kontrapunktu i romantycznej ekspresji w grze Lemmensa, ktróe było całkowicie obce Lefébure-Wély’emu. W dużej mierze dzięki wpływowi Lemmensa, Cavaillé-Coll od lat połowy XIX wieku rozszerzył zakres manuału nożnego swoich organów, aby można było na nim grać utwory organowe Bacha.
3 lutego 1854 roku poślubił Adèle Blanc, z którą miał później sześcioro dzieci. Dwójka z nich zmarła młodo, a jeden z jego synów, Gabriel, poszedł w ślady ojca i również został budowniczym organów.