W kwietniu 1972 r. Crosland wystartował w wyborach na wiceprzewodniczącego Partii Pracy, ale zdobył tylko 61 głosów poparcia, co wyeliminowało go już w pierwszej turze. Po powrocie Partii Pracy do władzy w 1974 r. został ministrem środowiska. Po rezygnacji Wilsona w 1976 r. wystartował w wyborach na lidera partii, ale z 17 głosami poparcia zajął ostatnie miejsce. W kolejnych turach popierał późniejszego zwycięzcę, Jamesa Callaghana, który mianował Croslanda ministrem spraw zagranicznych.
Od listopada 1952 r. Crosland był żonaty z Hilary Sarson, z którą rozwiódł się po pięciu latach. 7 lutego 1964 r. poślubił Susan Catling, amerykankę z Baltimore. Obydwa małżeństwa pozostały bezdzietne. Crosland był fanem piłki nożnej. W 1976 r. zaprosił Henry’ego Kissingera do obejrzenia meczu drużyny z jego okręgu Grimsby Town F.C. z Gillingham F.C. Ponownie zaprosił Kissingera na mecz w grudniu 1976 r. (był to mecz Chelsea F.C. z Wolverhampton).