Po wyborczej porażce konserwatystów w 1964 r. Powell został mówcą opozycji ds. transportu. W 1965 r. wystartował w wyborach na lidera Partii Konserwatywnej, ale zajął trzecie miejsce. Nowy lider, Edward Heath, powierzył mu stanowisko ministra obrony w swoim gabinecie cieni. Na tym stanowisku pozostał do 1968 r. Przyczyną jego dymisji było przemówienie jakie wygłosił 20 kwietnia w Birmingham, zwane „mową o rzekach krwi” (Rivers of Blood speech). Powell skrytykował w niej przegłosowany przez laburzystowską większość Race Relations Act, który znosił jakąkolwiek dyskryminację rasową w Wielkiej Brytanii.
W 1969 r. Powell odniósł swój największy sukces w polityceSimon Heffer, Like the Roman: The Life of Enoch Powell, Londyn, 1999, s. 521., kiedy udało mu się zablokować reformę Izby Lordów poprzez pozbawienie parów dziedzicznych prawa głosu. Powell sprzeciwiał się również członkostwu Wielkiej Brytanii w EWG i na tym tle doszło do jego sporu we władzami partyjnymi. W lutym 1974 r. Powell zrezygnował z członkostwa w Partii Konserwatywnej. Nie wystartował również w lutowych wyborach do Izby Gmin. Do parlamentu powrócił w październiku tego roku jako reprezentant okręgu South Down z ramienia Ulsterskiej Partii Unionistów. W Izbie Gmin zasiadał do 1987 r.