Natomiast w wolnych tempach łagodniał i zadziwiał elokwencją.
W orkiestrze Meroffa poznał klarnecistę i saksofonistę Franka Teschemachera, z którym się zaprzyjaźnił. Po odejściu w 1931 od Meroffa razem założyli big-band. Niestety w nocy 1 marca 1932 doszło do wypadku drogowego, w którym zginął Teschemacher. Był pasażerem w swoim kabriolecie Packard Phaeton, który prowadził Davison. Podczas zakładania dachu w czasie jazdy w ich auto uderzyła na skrzyżowaniu nieoświetlona taksówka. Policja chicagowska po krótkim dochodzeniu nie obwiniła o wypadek żadnego z kierowców. Wypadek i rychłe kłopoty z miejscowym związkiem zawodowym położyły kres big-bandowi oraz zmusiły go do wyjazdu do Milwaukee, będącego swoistym wygnaniem. Przez następnych kilka lat pracował tam z różnymi zespołami.
W 1941 postanowił udać się do Nowego Jorku, do którego już dziesięć lat wcześniej wyjechało wielu czołowych muzyków jazzowych z Środkowego Zachodu. W latach 1941–1942 kierował zespołem klubu nocnego Nick’s w Greenwich Village, a w pierwszej połowie 1943 przejął grupę w klubie Jimmy’ego Ryana na słynnej 52nd Street, znanej też jako „Swing Street”. Ponadto współpracował przy produkcjach musicalowych Katherine Dunham. W grudniu 1943 został powołany do U.S. Army.