Był żołnierzem piechoty, ale ze względu na dobre wyniki testów specjalistycznych z zakresu muzyki skierowano go do szkoły zaopatrzenia w miejscowości Etajima na wyspie Eta. Następnie został przeniesiony do Korei, gdzie przez kilka miesięcy służył w kompanii zaopatrzenia. Po pozytywnym przejściu przesłuchań do orkiestry dywizyjnej został do niej przyjęty.
W maju 1953 wyszedł z wojska i w niedługim czasie został członkiem big-bandu Counta Basiego. Przedtem jednak w nowojorskim klubie Birdland zagrał jednego wieczoru z Charliem Parkerem. W orkiestrze Basiego pozostał do 1964. Był eksponowanym tenorzystą. Przede wszystkim jednak dużo aranżował i komponował dla zespołu. Były to m.in. utwory: Down for the Count, Blues Backstage, standard Shiny Stockings, Back to the Apple, Discommotion i Blues in Hoss’ Flat. W 1963 ukazał się album Basiego Easin’ It, który w całości zawierał utwory skomponowane i zaaranżowane przez Fostera.
W drugiej połowie lat 60. funkcjonował jako „wolny strzelec”. Założył zespół, który w następnych latach działał w różnych składach jako The Frank Foster Band. Ok. 1970 formacja została nazwana: „The Loud Minority” w geście poparcia dla bardzo aktywnego wówczas ruchu praw obywatelskich.