Przed wyborami 1964 r. typowano Walkera na stanowisko ministra spraw zagranicznych (od 1963 r. pełnił już analogiczną funkcję w gabinecie cieni), jednak Walker przegrał wybory parlamentarne w swoim okręgu. Konserwatywny kontrkandydat Walkera, Peter Griffiths, oparł swoją kampanię na krytyce licznej imigracji z innych krajów Wspólnoty Narodów, która osiedliła się w Smethwick po II wojnie światowej. Zwolennicy Griffithsa podobno wymyślili nawet hasło „Jeśli chcesz mieć czarnucha za sąsiada - głosuj na liberałów lub laburzystów” (If you want a nigger for a neighbour, vote Liberal or Labour)Robert Pearce, Walker, Patrick Chrestien Gordon, Baron Gordon-Walker (1907–1980) w Oxford Dictionary of National Biography.
Mimo porażki w wyborach premier Wilson powierzył Walkerowi tekę ministra spraw zagranicznych. W 1965 r. minister wystartował w wyborach uzupełniających w okręgu Leyton, ale przegrał ponownie i musiał zrezygnować ze stanowiska ministra. Do Izby Gmin powrócił w 1966 r., wygrywając wybory w okręgu Leyton. W 1967 r. powrócił do gabinetu jako minister bez teki. W latach 1967–1968 był ministrem edukacji i nauki. W 1968 r. odszedł z gabinetu i został odznaczony Orderem Kawalerów Honorowych.