Leahy a fost ales pentru prima dată în Senatul Statelor Unite în 1974, succedându-i lui George Aiken, care se retrăsese în funcție după 34 de ani. La 34 de ani, a fost cel mai tânăr senator din istoria statului Vermont. Leahy a fost aproape învins în 1980 de republicanul Stewart Ledbetter, câștigând cu doar 2.700 de voturi, pe fondul victoriei zdrobitoare a lui Ronald Reagan. În 1986, s-a confruntat cu ceea ce pe hârtie era un adversar și mai puternic, fostul guvernator Richard Snelling, dar Leahy a întors această provocare, obținând 63% din voturi. În 1992, s-a confruntat cu un alt adversar în persoana secretarului de stat din Vermont, Jim Douglas, câștigând cu 11 puncte.
Leahy a fost primul senator non-republican din Vermont din 1856. Până în prezent, el este singurul democrat ales vreodată în Senat din Vermont. Din punct de vedere tehnic, el este unul dintre cei doar trei democrați care au reprezentat Vermontul în ambele camere ale Congresului de la sfârșitul Războiului Civil.
Cariera ulterioară
În martie 2004, Leahy și Orrin Hatch au introdus Pirate Act, susținut de RIAA. În iulie 2004, Leahy și Hatch au introdus Legea INDUCE. Ambele aveau ca scop combaterea încălcării drepturilor de autor.
La 2 noiembrie 2004, Leahy l-a învins cu ușurință pe adversarul său, omul de afaceri Jack McMullen, cu 70,6% din voturi. La 5 ianuarie 2005, Leahy a depus jurământul pentru cel de-al șaselea mandat în Senat de către Cheney.
La 21 septembrie 2005, Leahy și-a anunțat sprijinul pentru John Roberts pentru funcția de președinte al Curții Supreme de Justiție a Statelor Unite. La 19 ianuarie 2006, Leahy a anunțat că va vota împotriva judecătorului Samuel Alito pentru funcția de judecător la Curtea Supremă.
La 18 ianuarie 2007, Leahy a fost foarte mediatizat pentru interogatoriul său cu privire la Procurorul General Alberto Gonzales în legătură cu afacerea Maher Arar și predarea extraordinară a lui Arar în Siria.
Președintele pro tempore
La decesul președintelui pro tempore al Senatului, Daniel Inouye, la 17 decembrie 2012, Leahy a devenit cel mai în vârstă senator din partidul majoritar și a fost ales noul președinte pro tempore cu unanimitate de voturi.
La 3 ianuarie 2015, Orrin Hatch i-a succedat lui Leahy în funcția de președinte pro tempore al Senatului Statelor Unite. La scurt timp după aceea a fost onorat cu titlul de președinte pro tempore emerit.
La 20 ianuarie 2021, Leahy a redevenit președinte pro tempore, deoarece democrații au câștigat controlul Senatului SUA.
La 25 ianuarie 2021, s-a anunțat că Leahy va prezida cel de-al doilea proces de destituire a lui Donald Trump, devenind astfel primul senator care prezidează procesul de destituire a unui președinte.
La 15 noiembrie 2021, Leahy a anunțat că nu va candida la realegerea în 2022 și că se va retrage la sfârșitul mandatului său, la 3 ianuarie 2023.