W latach 1933–1939 pracował z orkiestrą Jimmie’ego Lunceforda. Miał wielki wpływ na jej oryginalne brzmienie. O stylu zespołu decydowały przede wszystkim jego innowacyjne aranżacje charakteryzujące się pomysłową instrumentacją i pełnym brzmieniem. Styl ten cechował rytm dwubeatowy przeciwstawny do standardowego, czteroczęściowego metrum swingowegoJoachim-Ernst Berendt, Od raga do rocka, wyd. PWM, 1979. Wtedy także wypracował własne brzmienie na trąbce, zwane „growl trumpet”.

Gdy w 1939 Tommy Dorsey postanowił przekształcić swoją orkiestrę z dixielandowej na swingową, skusił go do pracy w niej dużym wynagrodzeniem. Krytyk jazzowy i publicysta James Kaplan napisał: „Zespół Dorseya nabrał kolosalnego rozpędu, kiedy Tommy ukradł Luncefordowi wspaniałego aranżera – Sya Olivera”James Kaplan, Frank – The Voice, wyd. Doubleday, 2010, s. 647, . Jego przejście przyciągnęło do reorganizowanej orkiestry znanych jazzmanów, m.in. Buddy’ego Richa. Dzięki jego aranżacjom takie utwory jak On the Sunny Side of the Street oraz skomponowane przez niego Yes, Indeed!, Opus One, The Minor is Muggin’ i Well, Git It stały się przebojami zespołu Dorseya.

Podczas II wojny światowej służył w U.S. Army, gdzie prowadził orkiestrę. Po zwolnieniu z wojska wrócił do zespołu Dorseya, pozostając w nim do 1946.