pozostałymi dziećmi byli: Clinton Hart (nazywany C. Hart, by nie był mylony z ojcem), Ella Gertrude (zmarła przed narodzinami Florence) i Charles Collins. Dorastała w posiadłości rodzinnej, „Homewood”, na wzgórzu nad domem dziadków w Locust Grove. Zachęcana była, podobnie jak C. Hart (który był niemal 8 lat starszy od niej), do nauki historii naturalnej i astronomii przez rodziców i ciotkę Helen Bagg; dwójka rodzeństwa wykazywała zainteresowanie ornitologią od najmłodszych lat. Ojciec Florence Bailey interesował się nauką i korespondował z Johnem Muirem po tym, jak spotkał go w Parku Narodowym Yosemite w lecie 1871.
W okresie dojrzewania Florence Bailey wykazywała słabe zdrowie. Mimo tego uczyła się w szkole prywatnej Mrs. Piatt’s School w Utica celem przygotowania się do studiów. W 1882 zaczęła uczęszczać do Smith College (Northampton) jako specjalny student, otrzymała certyfikat (nie stopień) w 1886. O stopień zaczęła się ubiegać później, otrzymała go w 1921. Przez 6 miesięcy (w zimie 1893–1894) uczęszczała również na wykłady na Uniwersytecie Stanforda.