Afera Profumo podkopała pozycję konserwatywnego rządu, którego przewaga nad opozycją stopniała do 69 głosów. W październiku 1963 r. Macmillan, powołując się na zły stan zdrowia, podał się do dymisji. Nowym premierem został Alec Douglas-Home. Macmillan zasiadał w Izbie Gmin do 1964 r. Następnie został prezesem Macmillan Publishers. W 1976 r. otrzymał Order Zasługi. W 1984 r. otrzymał parowski tytuł 1. hrabiego Stockton i zasiadł w Izbie Lordów. Zmarł dwa lata później.
Tytuły od narodzin do śmierci 1894 – 1924 : Harold Macmillan, Esq 1924 – 1929 : Harold Macmillan, Esq, MP 1929 – 1931 : Harold Macmillan, Esq 1931 – 1942 : Harold Macmillan, Esq, MP 1942 – 1945 : The Right Honourable Harold Macmillan, MP 1945 – 1945 : The Right Honourable Harold Macmillan 1945 – 1964 : The Right Honourable Harold Macmillan, MP 1964 – 1976 : The Right Honourable Harold Macmillan 1976 – 1984 : The Right Honourable Harold Macmillan, OM 1984 – 1986 : The Right Honourable The Earl of Stockton, OM, PC
Gabinety Harolda Macmillana Pierwszy gabinet, styczeń 1957 – październik 1959