Z wyborami 1961 związana jest anegdota – Killen miał otrzymać telefoniczne bądź telegraficzne gratulacje od premiera Menziesa, których emocjonalna treść "Killen, you're magnificent!" ("Killen, jesteś wspaniały!") stała się nagłówkiem wielu tytułów prasowych. W rzeczywistości historia została wyolbrzymiona przez dziennikarzy.
Pod koniec lat 60. Killen zajął bardziej umiarkowane stanowisko polityczne. W 1969 został ministrem marynarki w gabinecie Johna Gortona. Stanowisko to zajmował do 1971, kiedy tekę premiera objął William McMahon. Po porażce wyborczej Partii Liberalnej na rzecz Partii Pracy Gougha Whitlama w 1972kierował resortami edukacji i obrony w gabinetach cieni Snedena i Frasera. W latach 1975–1982 był ministrem obrony w rządzie Malcolma Frasera.
Po odejściu ze stanowiska ministra obrony w 1982 Killen otrzymał tytuł szlachecki (komandora Orderu Św. Michała i Św. Jerzego) i został mianowany wiceprezydentem Rady Wykonawczej (odpowiednik zastępcy gubernatora generalnego w randze ministra bez teki). Pełnił tę funkcję przez rok, zrezygnował w 1983 po porażce wyborczej Partii Liberalnej. Przez kilka miesięcy 1983 był parlamentarzystą Australii o najdłuższym stażu, ale złożył mandat w sierpniu tegoż roku.