Rajiv urodził się w 1944 roku w Bombaju, w czasie gdy jego rodzice za działalność niepodległościową przebywali w brytyjskich więzieniach. W 1947 roku Jawaharlal Nehru został premierem niepodległych Indii, a rodzina Nehru zamieszkała w Allahabadzie, a następnie w Lucknow. W Lucknow, Feroze został redaktorem gazety National Herald założonej przez Motilala Nehru. W 1949 roku Indira i jej dzieci przenieśli się do Delhi, aby żyć razem z Jawaharlalem, Indira pomagała ojcu w wykonywaniu obowiązków premiera, pomagając mu w domu. Tymczasem Feroze pozostał w Lucknow. W 1952 roku, Indira pomogła Feroze poprowadzić kampanię w wyborach do Parlamentu Indii. Po uzyskaniu mandatu, Feroze przeniósł się do Delhi. W późniejszym okresie rodzina Gandhi pokłóciła się jednak na dwa lata przed śmiercią Feroze w 1958 roku, rodzina pogodziła się i spędziła wspólne wakacje w Kaszmirze. Feroze zmarł dwa lata później, w 1960 roku. W chwili śmierci ojca, Rajiv uczył się w prywatnej szkole z internatem, Doon School, w Dehradun. W 1961 roku rozpoczął studia w Londynie. W 1962 roku zaproponowano mu miejsce w Trinity College na Uniwersytecie Cambridge aby studiował inżynierię. Rajiv mieszkał i uczył się w Cambridge do 1965 roku, jednak nie ukończył studiów inżynierskich.