Prawdziwym kierownikiem Komitetu był jednak członek KC WKP(b) i Rady Najwyższej, wiceminister spraw zagranicznych ZSRR Sołomon Łozowski. Na sekretarza generalnego powołano Szachne Epsztajna, dziennikarza piszącego w jidysz i agenta tajnych służb NKWD. Dzięki tym dwóm osobom, zarówno Kreml jak i Łubianka sprawowali ścisłą kontrolę nad Komitetem.
Utworzenie Komitetu i dopuszczenie do głosu żydowskiej części społeczeństwa radzieckiego, przypisuje się chęci Stalina jak najszerszego wciągnięcia Stanów Zjednoczonych do wojny (w której uczestniczyły od 7 grudnia 1941) i zapewnienie pomocy międzynarodowej dla ZSRR (głównie USA) przy wykorzystaniu diaspory żydowskiej.
O powstaniu organizacji po raz pierwszy poinformował Łozowski 23 kwietnia 1942 na konferencji prasowej w Kujbyszewie. Cele JAK określił w następujący sposób: 24 maja 1942 w Moskwie w sali Radiokomitetu odbyła się publiczna prezentacja JAK.