Natychmiast zarekomendował go bandliderowi Countowi Basiemu. Ten po wizycie w klubie i usłyszeniu jego gry od razu go zaangażował, zwalniając z orkiestry dotychczasowego gitarzystę. W big-bandzie grał przez niemal pięćdziesiąt lat, nawet po śmierci Basiego, kiedy orkiestrę prowadził Frank Foster. Był filarem jej sekcji rytmicznej. Zyskał przydomek „Mr Rhythm”. Wypracował własny styl, stając się mistrzem gitary rytmicznej. Określenie „Freddie Green comping” (akompaniament à la Freddie Green) na stałe weszło do słownictwa jazzowego. Rzadko komponował, ale dwa jego utwory – Down for Double i Corner Pocket (w wersji z tekstem zatytułowany: Until I Met You) na stałe weszły do repertuaru orkiestry. Nagrał kilka płyt jako lider i kilkaset jako sideman. W 1958 w głosowaniu krytyków zajął pierwsze miejsce w kategorii „Gitara” w dorocznym plebiscycie presiżowego miesięcznika jazzowego „DownBeat”.
Zmarł na zawał serca w Las Vegas. Miał 75 lat. Został pochowany w Pinelawn Memorial Park and Arboretum w East Farmingdale w stanie Nowy Jork.