Jako nastolatek często zmieniał miejsca zamieszkania. Kiedy był mały, jego rodzina przeniosła się z Richford do miasteczka Moravia. W 1851 rodzina Rockefellerów kolejny raz zmieniła miejsce zamieszkania, osiedlając się w Owego w stanie Nowy Jork. Tam przyszły miliarder uczęszczał do Owego Academy od 1852. Następnie w 1853 zamieszkał w Strongsville na przedmieściach Cleveland, gdzie ukończył tamtejszą Cleveland’s Central High School. Po ukończeniu miejscowego liceum w wieku 16 lat, wiosną 1855 zapisał się na 10-tygodniowy kurs księgowości w Folsom’s Commercial College. Tam też poznał swoją przyszłą żonę Laurę Spelman, córkę kupca z Akron, Ohio. Wzięli ślub w 1864, kiedy Rockefeller skończył 25 lat.
Pomimo ciągłych absencji ojca i przeprowadzek młody John był ułożony, poważny i pracowity. Jego rówieśnicy opisywali go jako powściągliwego, religijnego, metodycznego i dyskretnego. Był znakomitym rozmówcą i umiał wyrażać się precyzyjnie. Był zakochany w muzyce i myślał o karierze w tej dziedzinie. Wcześnie objawił się także jego talent do liczb i szczegółowych kalkulacji.