Jeffordsowie mieszkali w Shrewsbury.
Senator Jeffords posiadał także czarny pas w taekwondo.
Kariera polityczna przed wyborem do Kongresu W 1966 zdobył w wyborach miejsce w stanowym Senacie Vermontu, gdzie zasiadał jedną dwuletnią (1967–1969) kadencję. W 1968 pokonał urzędującego prokuratora generalnego stanu i zajął jego miejsce (piastował tę funkcję w latach 1969–1973).
W 1974 wybrano go jako jedynego reprezentanta (Vermont posiada tam tylko jedno miejsce, ze względu na swój status drugiego najmniej zaludnionego stanu Ameryki) Vermontu w Izbie Reprezentantów Stanów Zjednoczonych, gdzie zasiadał w latach 1975–1989. W tym samym roku w Kongresie zasiadł również, jako jeden z dwóch senatorów stanu, Patrick Leahy, pierwszy demokrata, który zasiadł w nim z ramienia Vermontu i zaledwie drugi jego reprezentant w Kongresie. Dzisiaj Vermont jest właśnie bastionem Partii Demokratycznej.
W czasie swej kariery w Izbie pełnił m.in. funkcję wiceprzewodniczącego Komitetu ds. Pracy i Edukacji (większość mieli demokraci i to oni wystawiali przewodniczącego. Wiceprzewodniczącym jest zawsze najwyższy rangą członek komitetu z partii opozycyjnej, czyli tzw.