Okres urzędowania Callaghana był znaczony narastającym konfliktem w Irlandii Północnej. To właśnie Callaghan podjął decyzję o wysłaniu do Irlandii Północnej brytyjskich oddziałów wojskowych. W 1968 r. uchwalono kontrowersyjny Immigration Act, który wprowadzał rozróżnienie na obywateli byłych kolonii, którzy mieli wolny wstęp do Wielkiej Brytanii, oraz na obywateli innych państw, którzy musieli przechodzić kontrolę imigracyjną. W tym samym roku uchwalono Race Relations Act, który zakazywał odmowy zatrudnienia, edukacji lub przyznania mieszkania ze względu na uprzedzenia rasowe.
Nowe wybory odbyły się w 1970 r. i zakończyły się porażką laburzystów. Callaghan został w 1972 r. ministrem spraw zagranicznych w gabinecie cieni. Przedstawił wówczas ideę „paktu społecznego”, jaki zawrzeć miał rząd ze związkami zawodowymi. Po wyborczym zwycięstwie Partii Pracy w 1974 r. Callaghan został ministrem spraw zagranicznych. Prowadził negocjację dotyczące przystąpienia Wielkiej Brytanii do Wspólnego Rynku. W 1975 r. popierał głosowanie na „tak” w rozpisanym w tej sprawie referendum.