W latach 1972–1975 LPA i CP pozostawały w opozycji, jednak powróciły do władzy pod wodzą Malcolma Frasera po kryzysie konstytucyjnym w 1975. Anthony powrócił na urząd wicepremiera, został też ministrem handlu zagranicznego i zasobów, jednak jego realna pozycja polityczna była słabsza niż w czasie pierwszej kadencji na stanowisku wiceszefa rządu. Wynikało to z faktu, iż po wyborach w 1975 LPA miała tak dużą większość w parlamencie, że mogła utworzyć rząd nawet samodzielnie, a zdecydowała się na koalicję z CP głównie ze względu na historyczny alians obu tych ugrupowań.
Późniejsze życie W 1983 LPA i NPA (już pod nową nazwą) znów znalazły się w opozycji. W 1984 Anthony zrezygnował z kierowania partią, zrzekł się też mandatu parlamentarnego i powrócił na swoją farmę. Od tego czasu unika angażowania się w bieżącą politykę, choć zabiera głos w wybranych kwestiach, m.in. dał się poznać jako zwolennik wprowadzenia w Australii ustroju republikańskiego. W latach 1996–2004 posłem z jego dawnego okręgu był jego syn Larry Anthony, będąc tym samym pierwszym w dziejach Australii parlamentarzystą, który uzyskał mandat w okręgu