W tym samym 1964 przyjęto go do palestry, dzięki czemu mógł rozpocząć swoją praktykę w Burlington.
Jego pierwszym publicznym stanowiskiem (i jedynym przed wyborem do Senatu) była funkcja prokuratora okręgowego Chittenden County (1966–1974).
Senator Stanów Zjednoczonych Jakkolwiek Vermont był niemal od zawsze zdominowany pod względem politycznym przez liberałów, to jednak przez ogromnie długi czas pozostawał bastionem Partii Republikańskiej, która systematycznie ewoluowała na prawo. Był to jeden z zaledwie dwóch stanów, w których wygrał wybory w 1936 Alf Landon, przeciwko urzędującemu prezydentowi-demokracie Franklinowi D. Rooseveltowi.
Kiedy więc, po rezygnacji z ubiegania się o ponowny wybór wieloletniego senatora, liberalnego republikanina George’a Aikena, Leahy zgłosił swoją kandydaturę na wakujące miejsce, byłby pierwszym w ogóle wybranym demokratą do Senatu z Vermontu, gdyby mu się powiodło. Był to jednak wyraźny rok demokratów w całym kraju, po ciosie, jaki zadała republikanom Afera Watergate, więc zdobył miejsce w Senacie. Wybierano go ponownie w 1980, 1986, 1992, 1998, 2004, 2010, 2016.