Rockefeller mógł zostać wiceprezydentem już w roku 1973, kiedy ustąpił zajmujący ten urząd Spiro T. Agnew. Prezydent Nixon rozważał wtedy cztery kandydatury na powstały wakat: Rockefellera, Reagana i byłego gubernatora Teksasu Johna Connally’ego oraz przywódcę republikańskiej mniejszości w Izbie Reprezentantów Geralda Forda. Ostatecznie wiceprezydentem mianowano tego ostatniego.
Prezydent Ford, który objął ten urząd po ustąpieniu Nixona, skorzystał z 25. poprawki do konstytucji i mianował Rockefellera wiceprezydentem USA. Zajmował on ten urząd od 19 grudnia 1974 do 20 stycznia 1977 roku, a więc ponad dwa lata.
Jako wiceprezydent Rockefeller przewodniczył kilku komisjom, między innymi tej badającej nielegalne operacje CIA. Zajmując ten urząd, głosił również pogląd, że Stany Zjednoczone mogą dojść do pełnej samowystarczalności energetycznej i popierał udzielenie pomocy finansowej bankrutującemu miastu Nowy Jork.
Rockefeller był wymieniany – obok Forda – jako potencjalny kandydat w wyborach prezydenckich 1976.