John, sfrustrowany brakiem męskiego dziedzica, uzależnił się od alkoholu i stosował przemoc fizyczną na żonie, dlatego Frances w 1967 odeszła od męża i zamieszkała w apartamencie przy Cadogan Place w londyńskiej dzielnicy Belgravia. Wyprowadzka matki z domu negatywnie wpłynęła na Dianę, która obwiniała się za rozpad małżeństwa rodziców. Diana razem z bratem zamieszkała z matką w Londynie, a weekendy spędzała z ojcem. Rozwód Spencerów orzeczono w kwietniu 1969. W wyniku batalii sądowej, która zakończyła się w 1971, opiekę nad dziećmi uzyskał ojciec, a matka miała prawo do widywania ich w weekendy. Matka Diany w 1969 poślubiła swojego kochanka, żeglarza i przedsiębiorcę Petera Shanda Kydda, z którym zamieszkala w pobliżu Itchenor w hrabstwie Sussex.