Rodzina po krótkim pobycie w Wielkiej Brytanii osiedliła się w podparyskim Saint-Cloud w domu użyczonym im przez księżną Marię Bonaparte.

Początkowo uczył się w amerykańskiej szkole w Paryżu, ale w 1928 został wysłany do Wielkiej Brytanii, gdzie podjął naukę w Cheam School. W tym okresie mieszkał u swojej babki, księżniczki Wiktorii, w Pałacu Kensington. Wówczas zaprzyjaźnił się ze swoim kuzynem, Dawidem Mountbattenem. W ciągu kolejnych trzech lat jego siostry poślubiły niemieckich arystokratów, a rodzice się rozwiedli; matka po rozwodzie popadła w depresję i trafiła do domu opieki po wykryciu u niej schizofrenii, a ojciec przeprowadził się do małego mieszkania w Monte Carlo. W 1933 rozpoczął naukę w elitarnej niemieckiej szkole , ale niecały rok później przeniósł się do prywatnej szkoly Gordonstoun w Szkocji. W 1937 uczestniczył w pogrzebie swojej siostry, księżnej Cecylii, oraz jej męża, dwóch synów i teściowej, którzy zginęli w katastrofie lotniczej pod Ostendą.