8 października 1925 znalazł się w grupie czternastu młodych Albańczyków, którzy wyjechali do Związku Sowieckiego, gdzie mieli kształcić się w szkołach prowadzonych przez Komintern. Kelmendi przebywał w ZSRR do 1930 kształcąc się w Akademii Politycznej im. F. Dzierżyńskiego w Leningradzie, a następnie pracował jako urzędnik celny w Odessie.

W lipcu 1930 powrócił do Albanii, gdzie miał zająć się organizowaniem kółek komunistycznych. Aresztowany przez żandarmerię otrzymał zakaz opuszczania Korczy, w której zamieszkał. W styczniu 1932 opuścił Albanię i pojechał do Berlina, gdzie spotkał się z Georgi Dimitrowem omawiając możliwości utworzenia w Albanii partii komunistycznej. Kiedy powrócił po raz kolejny do Albanii został aresztowany przez żandarmerię. Oskarżony o prowadzenie działalności antypaństwowej został w lipcu 1932 internowany w Gjirokastrze. We wrześniu 1936 został deportowany z Albanii do włoskiego Bari, skąd wyjechał do Turynu. W czasie wojny domowej w Hiszpanii został skierowany wspólnie z Koço Tashko do Paryża, gdzie miał zajmować się rekrutacją Albańczyków do walki po stronie republikańskiej Hiszpanii. Pod pseudonimem Çuni pisał artykuły do francuskiej prasy lewicowej. W 1937 przyjechał do Moskwy, na obchody 20 rocznicy rewolucji październikowej.