W 1953, dzięki wpływom ojca, został mianowany na jednego z asystentów Stałej Podkomisji Dochodzeniowej Senatu, a jego bezpośrednim przełożonym został republikanin Roy M. Cohn. Po sporze z Cohnem w 1953 zrezygnował ze stanowiska, jednak wrócił do podkomisji w lutym 1954 jako doradca z ramienia demokratów. Rok później został głównym doradcą komisji. Prowadził śledztwo w sprawie rzekomych wpływów komunistów w administracjach prezydenckich. W 1957 był głównym doradcą senackiej komisji prowadzącej śledztwo w sprawie haraczy pracowniczych. Oskarżał wtedy m.in. Jimmy’ego Hoffę o defraudację pieniędzy należących do związku zawodowego.
Prokurator generalny Stanów Zjednoczonych Po wygranej Johna F. Kennedy’ego w wyborach prezydenckich w 1960 (w której kierował jego zwycięską kampanią wyborczą), nowo wybrany prezydent mianował swojego brata (który był też członkiem jego sztabu wyborczego w kampanii) prokuratorem generalnym.
Podczas jego kadencji na tym stanowisku liczba wyroków skazujących przeciwko przestępczości zorganizowanej miała wzrosnąć ośmiokrotnie. Podczas kadencji prokuratora generalnego zaczął działać na rzecz praw obywatelskich dla Afroamerykanów.