27 kwietnia 1876 r. w kościele św. Jerzego na Hanover Square w Londynie poślubił Catherine Neville (8 sierpnia 1855 – 12 sierpnia 1884), córkę Richarda Neville’a, 4. barona Braybrooke, i lady Charlotte Graham-Toler, córki 2. hrabiego Norbury. James i Catherine mieli razem trzech synów i córkę: James Richard Neville Stopford (16 września 1877 – 25 stycznia 1957), 7. hrabia Courtown wiceadmirał Arthur Stopford (29 kwietnia 1879 – 25 maja 1955), kawaler rosyjskiego Orderu św. Stanisława II klasy z mieczami, Legii Honorowej oraz Orderu św. Michała i św. Jerzego, attaché morski przy brytyjskiej ambasadzie w Waszyngtonie, adiutant króla Jerzego V, ożenił się z Mary Chester-Master i Elsą Hinke, miał dzieci z pierwszego małżeństwa, jego córka poślubiła generała sir Petera Hunta Sybil Stopford (25 kwietnia 1882 – 31 marca 1946), żona kapitana Colina Laurence’a, nie miała dzieci kapitan Guy Stopford (3 sierpnia 1884 – 10 czerwca 1954), ożenił się z Rosalinde Townley, nie miał dzieci