10 listopada 1868 r. w Londynie, poślubił Amy Mary Ricardo (10 października 1848 - 23 sierpnia 1879), córkę Percy'ego Ricardo. Charles i Amy mieli razem trzech synów i dwie córki: Charles Henry Gordon-Lennox (30 grudnia 1870 - 7 maja 1935), 8. książę Richmond, 8. książę Lennox i 3. książę Gordon Evelyn Amy Gordon-Lennox (23 kwietnia 1872 - 17 lutego 1922), żona Johna Cotterella, 4. baroneta, miała dzieci Violet Mary Gordon-Lennox (15 stycznia 1874 - 19 listopada 1946), żona Henry'ego Brasseya, 1. barona Brassey, miała dzieci brygadier-generał Esme Charles Gordon-Lennox (10 lutego 1875 - 4 maja 1949), ożenił się z Hermione Fellowes i Rosamond Palmer, miał dzieci major Bernard Charles Gordon-Lennox (1 maja 1878 - 10 listopada 1914), ożenił się z Evelyn Loch, miał dzieci, zginął podczas I wojny światowej
3 lipca 1882 r. poślubił Isabel Sophie Craven (28 kwietnia 1863 - 20 listopada 1887), córkę Williama George'a Cravena i lady Mary Yorke, córki 4. hrabiego Hardwicke.