W czerwcu 2001 Jeffords przeszedł na stałe do historii amerykańskiej polityki, kiedy to na znak protestu przeciwko polityce prezydenta George’a W. Busha, opuścił szeregi partii i został jedynym niezależnym członkiem izby wyższej Kongresu, stowarzyszonym z demokratami. Dało to wówczas demokratom minimalną większość w izbie stosunkiem 51 do 49 głosów. Nigdy jeszcze w historii kraju zmiana arytmetyki sił na skutek przejścia linii międzypartyjnej nie miała do tamtej pory miejsca.
Wczesne lata, rodzina i inne fakty James Jeffords przyszedł na świat jako syn nieżyjących już Marion H. i Olina Jeffordsów. Jego ojciec był prezesem Sądu Najwyższego stanu Vermont. Studiował prawo na dwóch prestiżowych uczelniach amerykańskich (Uniwersytecie Yale, ukończonym w 1956, oraz Uniwersytecie Harvarda, ukończonym w 1962). Do palestry Vermontu przyjęto go w 1962, dzięki czemu mógł rozpocząć własną praktykę adwokacką w rodzinnym Rutland.
Jeffords w latach 1956–1959 służył w amerykańskiej marynarce wojennej. Następnie pozostawał w rezerwie aż do 1990, kiedy to został zwolniony w stopniu komandora.
Był żonaty od 1961 z Elizabeth Daley, z którą miał dwoje dzieci: córkę Laurę i syna Leonarda.