Rodzina 3 czerwca 1920 r. w Holy Trinity w Chelsea, poślubił Margaret Tennant (4 listopada 1899 – 19 sierpnia 1994), córkę Charlesa Tennanta, 1. baroneta i Marguerite Miles, córki pułkownika Charlesa Milesa. John i Margaret mieli razem trzech synów i córkę: Henrietta Marguerite Jean Loder (ur. 5 lutego 1922), żona Johna Reader-Harrisa, ma dzieci John Christopher Loder (ur. 23 września 1925), 3. baron Wakehurst James David Gerald Loder (ur. 24 marca 1928) Robert Beauclerk Loder (ur. 24 kwietnia 1934)
Życie prywatne Lord Wakehurst był wysokim, rudowłosym i niebieskookim mężczyzną, nieznacznie się jąkającym. Żona opisała go w swoich wspomnieniach jako "niezbyt wylewnego, ale lojalnego i uprzejmego". Baron lubił podróżować i pisać. W 1931 r. wydał książkę Bolshevism in Perspective. Napisał ją po swojej podróży do Związku Radzieckiego, gdzie spotkał się z matką Józefa Stalina. Napisał również 5 innych książek oraz serię thrillerów, które pisał pod pseudonimem "Cornelius Cofyn".
W czasie wolnym lord lubił łowić ryby, grać w tenis lub w golfa. Uwielbiał teatr, operę i balet. Był mężem zaufania Royal Opera House, Covent Garden oraz Royal Ballet. W latach 1948–1969 był Wielkim Przeorem Zakonu Św. Jana w Jerozolimie.