Dzieciństwo Ansel Adams przyszedł na świat w łóżku swoich rodziców. Wnuk bogatego barona drzewnego, dorastał w domu położonym pośród wydm Golden Gate. Gdy miał 4 lata, uległ wypadkowi podczas trzęsienia ziemi, jakie nawiedziło San Francisco w 1906 r. Został odrzucony na mur okalający ogród, uderzając w niego twarzą. Jednym z jego wczesnych wspomnień z dzieciństwa było oglądanie pożaru, który zniszczył większość miasta, kilka mil od jego domu. Jego wykrzywiony w lewo nos, nigdy nie został poddany operacji i pozostał taki przez całe jego życie.
Adams był nadpobudliwym i podatnym na choroby dzieckiem. Miał jedynie kilku przyjaciół, pomimo że jego dom rodzinny i otaczające go wzgórza leżące nieopodal zatoki San Francisco dostarczały mnóstwa możliwości dziecięcych zabaw. Nie miał cierpliwości do gier i zabaw, którymi zajmowali się jego rówieśnicy. Ciekawy wszystkiego, skierował się w stronę natury. W bardzo młodym wieku zaczął kolekcjonować owady i zajął się eksploracją pobliskiej plaży. Po tym jak jego ojciec kupił teleskop, obserwacje nocnego nieba stały się ich hobby.