Po dojściu nazistów do władzy, wielu muzyków o żydowskich korzeniach wyjechało z Niemiec. Rosner w tym czasie zakończył współpracę z Weintraub Syncopators, wyjechał do Belgii i powrócił do idei prowadzenia własnej orkiestry. W Ostendzie założył zespół Jug Band wspólnie z saksofonistą Fudem Candrixem, z którym odniósł znaczące sukcesy artystyczne. W tym okresie, podczas koncertu we Włoszech, Ady Rosner spotkał Louisa Armstronga, który wyrażał się o nim z uznaniem i sam określił go mianem Białego Armstronga. Pod koniec 1933 roku Rosner poprosił o azyl w Belgii, czego mu odmówiono i jako obcokrajowiec otrzymał nakaz jej opuszczenia.
Międzynarodowa sława thumb|Ady Rosner ze swoją orkiestrą w Krakowie około 1936 roku. W 1933 roku wyjechał do Polski, najpierw do Krakowa, a następnie do Warszawy, z zamiarem stworzenia własnej, nowoczesnej orkiestry jazzowej na ziemi ojczystej, opartej na wzorcach zagranicznych. W skład zespołu Rosnera wchodzili najlepsi polscy jazzmani międzywojennej Polski, tacy jak Franciszek Górkiewicz, Tony Lewityn, Aleksander Halicki, Leon Heller, Stanisław Piecuch, Szymon Heliszkowski, czy Stanisław „Leo” Arżewski. Dzięki konsekwentnej pracy i wysokiemu poziomowi artystycznemu jego orkiestra szybko zyskała uznanie i wysunęła się na czoło polskich grup muzycznych.