W latach 60. stał się jednym z wiodących prawników ds. gospodarczych w swoim stanie. Zaczął również zasiadać w rozmaitych sądach polubownych, gdzie zbierał doświadczenia w orzekaniu. W 1972 po długich staraniach uzyskał nominację na przewodniczącego Sądu Najwyższego Nowej Południowej Walii. Dwa lata później otrzymał od premiera Whitlama – sądzącego, iż zyska w osobie byłego partyjnego kolegi cennego sojusznika – nominację na gubernatora generalnego.
Gubernator generalny
Początek jego kadencji przypadł na czas swoistej dwuwładzy – kierowana przez Whitlama ALP miała przewagę w Izbie Reprezentantów, ale Senat pozostawał pod kontrolą liberalnej opozycji. Przywódca Liberałów Malcolm Fraser stosował taktykę opozycji totalnej i blokował w Senacie wszystkie najważniejsze przedłożenia rządowe. Kerr uznał, że w takiej sytuacji ma prawo samodzielnie użyć bardzo szerokich kompetencji, jakie formalnie przypisane są gubernatorowi generalnemu, pomimo niepisanej zasady, iż powinien je stosować jedynie na prośbę premiera. 11 listopada 1975 Kerr jako jedyny gubernator generalny w historii Australii zdymisjonował premiera i powołał nowego do czasu przedterminowych wyborów – został nim Fraser.