W 1844 r. Vanderbilt został dyrektorem kolei Long Island (Long Island Rail Road), która w tym czasie obsługiwała połączenie pomiędzy Bostonem i Nowym Jorkiem, także przy użyciu parowców. W 1857 r. objął stanowisko dyrektora kolei New York and Harlem Railroad.
New York Central Railroad Vanderbilt miał już 70 lat, kiedy zaczął się intensywnie angażować w transport kolejowy.
We wczesnych latach 60. zaczął wycofywać swój kapitał z przewozu promowego i inwestować w drogi żelazne. W latach 1862–1863 przejął kontrolę nad New York and Harlem Railroad, w 1864 r. dołączyło Hudson River Railroad, a w 1867 r. zakupił New York Central Railroad. Te trzy podmioty zostały połączone w jedno przedsiębiorstwo w 1869 r., w wyniku czego doszło do powstania New York Central and Hudson River Railroad.
Grand Central Terminal W październiku 1871 r. Vanderbilt nawiązał współpracę z kolejami New York and New Haven Railroad. W ten sposób zamierzał zwiększyć wydajność przewozów poprzez wykorzystanie jednego terminalu w Nowym Jorku, który istniał do 1913 r. Szklany dach stacji zawalił się podczas burzy śnieżnej tego samego dnia, w którym zmarł Vanderbilt.