Po pięciu latach Standard Oil przeniósł swą siedzibę do Nowego Jorku i w ten sposób Flaglerowie zamieszkali przy Piątej Alei na Manhattanie.
Na Florydzie W 1878 żona Flaglera, która od lat miała kłopoty zdrowotne, rozchorowała się na dobre. Jej lekarz zalecił zmianę klimatu, więc Mary i Henry wyjechali na zimę do Jacksonville na Florydzie. Mary niewiele to pomogło, jej stan zdrowia pogarszał się coraz bardziej, aż w końcu zmarła 18 maja 1881 w wieku 47 lat.
W dwa lata później Flagler ożenił się z Idą Alice Shourds. Podróż poślubna zawiodła ich do St. Augustine na Florydzie. Miasto wydało im się czarujące, ale baza hotelowa i dojazd z północy w fatalnym stanie. Flagler uznał, że Floryda to miejsce niezwykle atrakcyjne dla mieszkańców innych, północnych stanów i tu upatrywał rozwój własnego interesu. Jakkolwiek więc nadal zasiadał w radzie nadzorczej Standard Oil, porzucił codzienną pracę za biurkiem i poważnie zajął się rozwojem Florydy. W 1885 wrócił do St. Augustine i podjął budowę 540-pokojowego hotelu Ponce de Leon, by jednak hotelowe przedsięwzięcie mogło przynieść sukces, zakupił lokalną linię kolejową Jacksonville - St. Augustine. Był to zaczątek największego przedsięwzięcia Flaglera – Florida East Coast Railway.