Po przejęciu władzy przez komunistów w 1944, granice diecezji albańskich powróciły do stanu sprzed 1942. Banushi miał być przeniesiony na południe Albanii i kierować diecezją w Gjirokastrze. Objęcie diecezji zablokowały władze komunistyczne, dążąc do wyznaczenia kogoś w pełni wobec nich lojalnego. Banushi nie zrezygnował i próbował kierować diecezją z Tirany, gdzie rezydował.
Aresztowany 28 października 1946, w kwietniu 1947 stanął przed sądem wojskowym. Otrzymał wyrok pięciu lat więzienia, za współpracę z okupantem. Przez dwa lata przebywał w więzieniu w Tiranie. Opuścił je w wyniku amnestii 28 kwietnia 1949, wycieńczony gruźlicą, na którą w tym czasie zachorował.
Publicznie wypowiadał się przeciwko pozbawieniu Kristofora Kisiego zwierzchnictwa nad Kościołem, uznając takie działania za niekanoniczne. Po podleczeniu został ponownie aresztowany i internowany w jednym z klasztorów w Durrësie. Warunkiem powrotu do życia publicznego była rezygnacja z sakry biskupiej, do czego namawiali go funkcjonariusze Sigurimi. Banushi odmówił i 22 sierpnia 1952 został ponownie aresztowany i skazany na pięć lat więzienia. Po odbyciu kary w 1957 został internowany w klasztorze Ardenica, gdzie miał pełnić posługę jako zwykły ksiądz.