W 1969 kierowana przez niego partia nie najlepiej wypadła w wyborach – utrzymała wprawdzie władzę, ale notując ciężkie straty w Izbie Reprezentantów (przewaga koalicji nad opozycją stopniała z 45. do 7. mandatów). Później było tylko gorzej – kolejne sondaże pokazywały systematyczny spadek jej poparcia. W styczniu 1971 na emeryturę przeszedł McEwen, będący największym sojusznikiem Gortona w rządzie. Dwa miesiące później w wyniku wewnątrzpartyjnego buntu na fotelu lidera LPA i premiera zastąpił go McMahon. Gorton zdołał wywalczyć dla siebie teki wicelidera i ministra obrony, ale po kilku miesiącach premier pozbył się go z rządu.
Późniejsze życie Nowy lider nie zdołał zapobiec wyborczej porażce LPA w 1972. Przez kolejne dwa lata Gorton zasiadał w gabinecie cieni. Gdy w 1975 liderem liberałów został Malcolm Fraser, przywódca buntu, który cztery lata wcześniej pozbawił Gortona władzy, były premier odszedł z partii i próbował swoich sił w wyborach jako kandydat niezależny, ale bez powodzenia. Mając 69 lat, przeszedł na emeryturę. Wrócił do partii, ale pozostawał na jej uboczu. Pod koniec życia zaczął odzyskiwać uznanie w kręgach LPA – honorowym gościem jego 90. urodzin był ówczesny lider liberałów i premier Australii, John Howard.