Po klęsce wrześniowej Rosner uciekł do ZSRR. Orkiestrę, którą kierował, popierał Pantelejmon Ponomarienko, pierwszy sekretarz partii Białorusi. Po koncercie w Mińsku Ponomarienko zaproponował, aby orkiestra Rosnera została orkiestrą jazzową Republiki Białoruskiej. W związku z tym Rosner dał koncert dla nielicznie zgromadzonej publiczności i otrzymał pochlebną opinię Józefa Stalina. Zaczęto nazywać jego orkiestrę Zespołem Stalina.
W czasie wojny dawał koncerty, jeżdżąc z zespołem własnym pociągiem. Rosner znakomicie zarabiał – miał m.in. eleganckie mieszkanie w pobliżu KremlaS. Frederick Starr, Red Hot — The Fate of Jazz in the Soviet Union, 1983. Po wojnie został aresztowany jako kosmopolita i prowadził orkiestry w Magadanie. Ida Kamińska tak wspominała ten okres:
Adi stworzył orkiestrę jazzową, a pierwszy sekretarz Komunistycznej Partii Białorusi Pantelejmon Ponomarienko dał im w 1942 r. pociąg w prezencie. W 1943 roku zagrali w pustym teatrze w Soczi tylko dla Stalina, którego nawet nie widzieli ze sceny. Poinformowano ich, że występ się podobał. – A więc jesteśmy bezpieczni na co najmniej 25 lat – Adi powiadomił Ruth. Odtąd mówiono: Rosner – dyrektor prywatnej orkiestry Stalina. Jednak w 1946 r. w „Prawdzie” ukazał się artykuł pt.