Lata młodości Candace Wheeler (Candace Thurber) urodziła się 24 marca 1827 w Delhi w stanie Nowy Jork, na zachód od Gór Catskill. Jej rodzicami byli Abner Gilman Thurber (1797-1860) i Lucy (Dunham) Thurber (1800 -1892). Była trzecim dzieckiem spośród ośmiorga braci i sióstr: Lydia Ann Thurber (1824-?), Charles Stewart Thurber (1826–1888), Horace Thurber (1828–1899), Lucy Thurber (1834–1893), Millicent Thurber (1837–1838), Abner Dunham Thurber (1839–1899) i Francis Beattie Thurber (1842–1907).
Wheeler miała szczęśliwe dzieciństwo, choć nie kryła irytacji wobec sposobu, w jaki wychowywał ich ojciec - "jakby cofnął się o sto lat" Candace Wheeler: The Art and Enterprise of American Design, 1875-1900 Peck, Amelia, and Carol Irish, s. 4. . Jej ojciec był ortodoksyjnym prezbiterianinem, ale także zagorzałym abolicjonistą. Dbał o to, aby jego rodzina nigdy nie używała produktów wytworzonych przez niewolników. Wysiłek Abnera był tak znaczący, że jego rodzina zaczęła używać domowej roboty cukru klonowego zamiast cukru trzcinowego oraz lnu tkanego z lnu uprawianego na farmie, a nie z bawełny z południa Candace Wheeler: The Art and Enterprise of American Design, 1875-1900, Peck, Amelia, and Carol Irish, s. 4. . Z perspektywy czasu Candace Wheeler jest przekonana, że ich gospodarstwo było jednym z przystanków na trasie Kolei Podziemnej.