Rząd Delviny działał 10 miesięcy, kiedy w wyniku tarć politycznych został obalony, a Delvina zachował resort spraw wewnętrznych. Powodem dymisji jego rządu była próba zmiany osmańskiego ustawodawstwa w zakresie handlu, do czego nie miał wystarczającego poparcia w parlamencie. W grudniu 1923 już jako kandydat Partii Narodowo-Demokratycznej (reprezentującej środowisko konserwatywnych bejów) uzyskał mandat deputowanego do parlamentu.
W czasie rewolucji w 1924 znalazł się we Wlorze i wspierał działania Fana Noliego. Po przejęciu władzy przez Noliego, Delvina otrzymał zadanie kierowania resortem spraw zagranicznych. Podjął próbę uregulowania kwestii granicznych z Grecją i Jugosławią, ale bez powodzenia. Klęska rządu Noliego sprawiła, że w grudniu Delvina opuścił kraj, wyjechał do Wiednia, gdzie zaczął działać w lewicowej organizacji emigracyjnej KONARE (Komitet Narodowo-Rewolucyjny). Po uchwaleniu amnestii we wrześniu 1927 Delvina ciężko chory zdecydował się wrócić do Albanii. Z uwagi na zakaz pobytu w Tiranie, zamieszkał we Wlorze, gdzie spędził ostatnie lata życia. Zmarł w 1932 i został pochowany na cmentarzu miejskim we Wlorze.
Jego imię w latach 90. XX w. nadano ulicom w Tiranie, Kamzie i we Wlorze i w Delvinie, a także gimnazjum w jego rodzinnej miejscowości.