W 1933 Nishani wyjechał z Wiednia do Stambułu, ale został stamtąd wydalony przez władze tureckie jako osoba niepożądana. W tej sytuacji udał się do Grecji, gdzie osiedlił się w Zakintos, w okręgu Patras. Tam też zajął się tłumaczeniem na albański dzieł Moliera i La Fontaine’a. W niejasnych okolicznościach powrócił do Albanii w 1939, już po agresji włoskiej na ten kraj i rozpoczął tam działalność polityczną, próbując organizować antyfaszystowski ruch oporu.

Zagrożony aresztowaniem opuścił Tiranę i udał się do Pezy, a następnie do Sztabu Głównego Armii Narodowowyzwoleńczej w rejonie Skraparu. Na kongresie w Përmecie, w 1944 został wybrany przewodniczącym, zdominowanej przez komunistów Rady Naczelnej Frontu Narodowowyzwoleńczego. Po powołaniu pierwszego rządu tymczasowego, Nishani objął resort spraw zagranicznych. W nowych władzach Albanii był jednym z nielicznych ludzi wykształconych, władał biegle 7 językami (w tym tureckim, arabskim i greckim).