Ponadto w tym okresie – jako członek grupy All Stars Normana Granza – często występował w koncertach Jazz at the Philharmonic.
W 1951 do współpracy zaprosił go Duke Ellington, który poszukiwał godnego zastępcy Hodgesa. Po niemal roku Smith przeszedł do orkiestry Billy’ego Maya, by w 1954 powrócić na dziesięć lat do big-bandu Jamesa. Równocześnie pracował jako muzyk studyjny, m.in. z takim artystami jak Ella Fitzgerald, Nancy Wilson, Nat „King” Cole i Nelson Riddle. Wziął także udział w realizacji ścieżek dźwiękowych do filmów fabularnych: Pepe (1960) i Ryzykowna gra (Ocean’s 11Według tego filmu powstał w 2002, pod tym samym tytułem, popularny remake w reż. Stevena Soderbergha) (1960), kryminału, którego klimat tworzy również jego wyeksponowana gra na saksofonie. W 1964 zachorował i niemal przez cały rok nie pracował. Jesienią 1965 znów pojawił się na estradzie, w Las Vegas, tym razem u boku piosenkarza Johny'ego Riversa.
Później pozostawał wyłącznie w Los Angeles. Koncertował w miejscowych zespołach i pracował jako muzyk studyjny. W ostatnim okresie życia zarejestrował swoją jedyną płytę jako lider, The Best of Willie Smith • Alto Saxophonist Supreme!