W kwietniu 1964 został prezesem Panamian-registered Oil Company. Jak sam przyznał był zaskoczony taką propozycją: To był grom z jasnego nieba. Niewiele wiem na ten temat, ale mogę zapewnić, że będę pracował bardzo ciężko. Trzy miesiące później okazało się, że prowadził działania niemające zezwolenia Zarządu Handlu i stracił posadę w firmie. Wkrótce potem opuścił Londyn i rozpoczął pracę w prowincjonalnej firmie Heenan and Froude – ale stracił i tę posadę w wyniku redukcji etatów w 1968. W 1984 został mianowany prezesem firmy budowlanej z Petersborough, ale wkrótce go zwolniono w wyniku skarg klientów na opieszałe działania firmy.
Lord Coventry nie miał również szczęścia w życiu osobistym. W 1963 ogłosił swoje zaręczyny z 19-letnią studentką Akademii Teatralnej, Susan Templeton-Knight, ale zostały one zerwane po 7 miesiącach. Drugie małżeństwo hrabiego, zawarte 5 grudnia 1969 z Ann Cripps, było bezpotomne i zakończyło się rozwodem w 1975. Trzecie, zawarte 29 listopada 1980 z byłą sklepową Valerie Birch, również bezdzietne, zakończyło się rozwodem w 1988, gdy Valerie poczuła się znużona życiem w Worcestershire i wróciła do swojej matki do Szkocji. 4 lipca 1992 stanął po raz czwarty i ostatni na ślubnym kobiercu, tym razem z Rachel Wynne Mason.