Prowadził również własny zespół.
Blood, Sweat and Tears W lipcu 1967 roku został członkiem jazz-rockowego zespołu Blood, Sweat & Tears, nazywanego niekiedy Blood, Sweat & Jews, jako że składał się częściowo z muzyków żydowskiego pochodzenia (obok Lipsiusa byli to między innymi: Al Kooper, Bobby Colomby, Steve Katz i Lew Soloff).
Obok saksofonu Lipsius grał również na fortepianie. Jako członek zespołu zdobył dziewięć złotych płyt, nagrodę Grammy za aranżację przeboju „Spinning Wheel”, a także nagrodę Grammy w kategorii: Najlepszy Album Roku. Aranżował i współaranżował również przeboje „Hi-De-Ho” i „You've Made Me So Very Happy”.
Późniejsza działalność Po odejściu z Blood, Sweat & Tears grał z takimi muzykami jak: Cannonball Adderley, Thelonious Monk, Zoot Sims, Eddie Gomez, Al Foster, George Mraz, Rodney Jones, Randy Brecker i inni.
W 1982 roku dołączył do grupy wspierającej duet Simon & Garfunkel po wznowieniu przez muzyków działalności. Zespół koncertował przez siedem tygodni w Europie i Japonii. Po zakończeniu trasy, za namową swojego przyjaciela, gitarzysty Rodneya Jonesa, Lipsius postanowił nagrać swój pierwszy album jazzowy.