Śpiewający bandlider nie przysporzył orkiestrze popularności i we wrześniu 1934 z niej odszedł. Niemal od razu jej członkowie zreformowali zespół, którego kierownictwo objął Bob Crosby, brat słynnego Binga. Natomiast Pollack szybko sformował nową orkiestrę, żeby wywiązać się z podpisanych umów. W jej składzie znaleźli się m.in. Harry James i Irving Fazola. Skomponowany w 1936 wraz z Jamesem „fokstrot z refrenem wokalnym” Peckin’ stał się przebojem formacji Ben Pollack and His Orchestra.

W 1942 liderem jego ostatniej orkiestry został komik Chico Marx, którego występom towarzyszyła. Jej założyciel ograniczył się do zarządzania zespołem. Tymczasem na estradach, rynku płytowym i w rozgłośniach radiowych panowały big-bandy jego wychowanków muzycznych – Millera, Goodmana i Jamesa. Skoncentrował więc uwagę głównie na przedsięwzięciach biznesowych, ale niepowodzenia na tym polu skłoniły go w 1947 do powrotu do muzyki. Grał w sformowanym przez siebie sekstecie. W 1949 powierzono mu prowadzenie drugiego, dorocznego „Dixieland Jubilee” w Nowym Orleanie.