Wpływ na rozwód miały liczne romanse księcia, m.in. ze sławną projektantką mody Coco Chanel, którą poznał na przyjęciu w Monte Carlo w 1925 r. Ich romans trwał do 1930 r. i stał się tematem wielu anegdot. Jedna z nich głosi, że kiedy książę przyniósł kochance wielki bukiet kwiatów, został uznany przez kamerdynera projektantki za zwykłego doręczyciela. Kamerdyner próbował nawet wręczyć mu napiwek.
20 lutego 1930 r. poślubił lady Loelię Mary Ponsonby (1902–1993), córkę Fredericka Ponsonby’ego, 1. barona Sysonby i Victorii Kennard, córki pułkownika Edmunda Kennarda. Małżeństwo to nie doczekało się potomstwa i zakończyło się rozwodem w 1947 r.
W 1931 r. książę oskarżył swojego szwagra, lorda Beauchampa, przez królem i królową o homoseksualizm, który w owych czas był uznawany za przestępstwo. Działania te były podyktowane głównie chęcią skompromitowania Partii Liberalnej, do której należał Beauchamp. Książę wspierał ponadto w latach 30. różne skrajnie prawicowe i antysemickie organizacje, jak np. Right Club.
7 lutego 1947 r. zawarł swój czwarty związek małżeński z Anne Winifred Sullivan, córką generała-brygadiera Edwarda Sullivana. I to małżeństwo nie doczekało się potomstwa.
Książę zmarł w 1953 r. w wieku 74 lat.