12 kwietnia 1913 r. poślubił lady Beatrice Edith Mildred Cecil (10 sierpnia 1891–1980), córkę Jamesa Gascoyne-Cecila, 4. markiza Salisbury, i lady Ciceli Alice Gore, córki 5. hrabiego Arran. William i Beatrice mieli razem trzech synów i trzy córki: Mary Hermione Ormsby-Gore (ur. 7 września 1914), żona kapitana Robina Francisa Campbella i sir Alexandra Leesa Mayalla, miała dzieci Owen Gerald Cecil Ormsby-Gore (30 lipca 1916 - 3 października 1935) William David Ormsby-Gore (20 maja 1918 - 26 stycznia 1985), 5. baron Harlech Katherine Margaret Alice Ormsby-Gore (ur. 4 stycznia 1921), żona Maurice'a Macmillana, wicehrabiego Macmillan (syna premiera Harolda Macmillana), miała dzieci John Julian Stafford Ormsby-Gore (ur. 12 kwietnia 1925) Elisabeth Jane Ormsby-Gore (ur. 14 listopada 1929)
Linki zewnętrzne thepeerage.com Zdjęcie lorda Harlecha