W 1938 roku został głównym przewodniczącym organizacji Bashkimi Kombëtar, którą kierował z francuskiej miejscowości Grenoble; organizacja była wspierana przez włoskie władze. Këlcyra uważał, że interwencja Włoch jest potrzebna do obalenia władzy Zoga oraz pomoc w rozwoju społeczno-gospodarczym Albanii za osadzenie króla Włoch Wiktora Emanuela III na albańskim tronie. Ponieważ Włochy zdegradowały Albanię do statusu protektoratu, Këlcyra będąc niezadowolony z włoskiej polityki wobec Albanii, wstąpił do Balli Kombëtar.
Według komunistycznej historiografii, 15 marca 1943 roku Këlcyra podpisał w Tiranie tajne porozumienie z włoskim generałem porucznikiem Renzo Dalmazzo, na mocy którego postanowiono, że balliści nie będą atakować włoskich wojsk. Mimo to już pod koniec marca tego roku doszło w okolicach Korczy do zaciekłych walk między ballistami a wojskami włoskimi.