W latach 1923–1933 był dyrygentem , gdzie współpracował z Bruno Walterem. Występował także jako dyrygent Orkiestry Filharmonicznej w Berlinie. W 1926 został założycielem Nowej Orkiestry Kameralnej, a w 1927 także Kameralnego Zespołu Wokalnego. Orkiestra do czasu swojego rozwiązania wykonywała muzykę artystów takich jak: Alban Berg, Josef Matthias Hauer, Paul Hindemith, Arthur Honegger, Darius Milhaud, Karol Rathaus, Arnold Schönberg, , Igor Strawiński, Ernst Toch i Anton Webern. Po dojściu nazistów do władzy, nie mógł kontynuować pracy ze swoją orkiestrą kameralną i chórem. Wraz z i założył w Berlinie wspólnotę muzyków żydowskich, która przekształciła się w orkiestrę Żydowskiego Towarzystwa Kulturalnego w Berlinie, której Taube był dyrygentem. Występował także jako akompaniator pieśni w ramach Żydowskiego Towarzystwa Kulturalnego, m.in. wspólnie z Aleksandrem Kipnisem.
W 1934 odbył tournée po Palestynie z piosenkarzem Josephem Schmidtem. Oprócz serii recitali, dali koncert w Tel Awiwie ze specjalnie powołaną na tę okazję orkiestrą, w której wzięli udział także niektórzy muzycy dawnej Berlińskiej Orkiestry Kameralnej. Następnie dyrygował podczas koncertów z Orkiestrą Symfoniczną w Tel Awiwie, a także występował jako dyrygent gościnny w Jerozolimie i Hajfie. Grał także recitale, m.in.