W 1960 r. Sandys rozwiódł się ze swoją pierwszą żoną, która po trzech latach popełniła samobójstwo. W 1962 r. poślubił Marie-Claire Schmitt, córkę Adriena Schmitta. Małżeństwo to nie doczekało się potomstwa. W 1963 r. Sandys stał się bohaterem skandalu związanego ze sprawą rozwodową księżnej Argyll. Koronnym dowodem w sprawie rozwodowej podejrzewanej o nimfomanię księżnej było jej zdjęcie z nagim mężczyzną, któremu jednak nie było widać głowy. Jako kandydata na "bezgłowego mężczyznę" wymieniano m.in. właśnie Duncana Sandysa.
Tymczasem w 1959 r. Sandys przestał być ministrem obrony obejmując tekę ministra lotnictwa cywilnego. W 1960 r. został ministrem ds. Wspólnoty Narodów, zaś w 1962 r. połączył ten urząd ze stanowiskiem ministra kolonii. Na tym stanowisku odpowiadał za przyznanie niepodległości wielu koloniom Wielkiej Brytanii.
Po porażce konserwatystów w wyborach powszechnych 1964 r. przez 2 lata wchodził w skład gabinetu cieni. Popierał działania premiera Rodezji Iana Smitha w sprawie jednostronnej deklaracji niepodległości Rodezji. Po powrocie konserwatystów do władzy w 1970 r. nie otrzymał stanowiska ministerialnego. W tym czasie przewodniczył delegacjom Zjednoczonego Królestwa w Radzie Europy i w Unii Zachodnioeuropejskiej.