1 marca 1921 król Mikołaj mianuje go premierem rządu. 7 marca t.r. jego następca książę koronny Daniel, jako panujący na uchodźstwie król abdykował, przekazując władzę kolejnemu spadkobiercy, swojemu bratankowi Michałowi, wielkiemu księciu Grahova i Zety. W imieniu 12-letniego króla regencję objęło dwoje współregentów: królowa-matka Milica oraz Gvozdenović. Nadal pozostawał Gvozdenović szefem rządu, choć od 13 lipca 1922 nieuznawanego już przez mocarstwa zachodnie. Urząd ten pełnił dwukrotnie w okresach: 1 marca 1921 – 13 stycznia 1922 oraz 13 lutego – 13 lipca 1922. Pomimo tego przewodniczył rządowi uchodźczemu do osiągnięcia pełnoletności przez króla. 14 września 1929 król na uchodźstwie Michał osiąga pełnoletność i podejmuje decyzję rozwiązania struktur rządu uchodźczego, w pełni akceptując unifikację Czarnogóry z Jugosławią. W wyniku tej decyzji Anto Gvozdenović powraca ostatecznie do kraju, gdzie zostaje wpisany na listę generałów Jugosławii z przeniesieniem w stan spoczynku. Umiera w 1935 swojej posiadłości w Vuči Do.