Mieli siedmioro dzieci: Katharine Stephen (1856-1924); Herbert Stephen (1857-1932), który zastąpił go w Baronetcy; James Kenneth Stephen (1859-1892), obiecujący poeta, który zmarł przed ojcem; Harry Lushington Stephen (1860-1945), nominowany do Wysokiego Trybunału w Kalkucie w 1901 roku i stał się trzecim baronetem po śmierci swojego najstarszego brata; Helen Stephen (1862 – 1908); Rosamond Stephen (1868 – 1951) Dorothea Stephen (1871 – 1965)
Śmierć Ostatnie lata Stephena naznaczone były wpierw fizycznym spadkiem formy, później – również mentalnym. Pomimo oskarżeń o nieuczciwość i uprzedzenia co do procesów zabójstwa Izraela Lipskiego w 1887 r. i Florence Maybrick w 1889 r. Stephen kontynuował wykonywanie swoich obowiązków sądowych. Jednak na początku 1891 roku jego upadająca zdolność do sprawowania funkcji sądowych stała się przedmiotem publicznej dyskusji i komentarzy prasowych, a po poradzie medycznej Stephen zrezygnował z funkcji w kwietniu tego samego roku. Nawet podczas ostatnich dni na stanowisku, Stephen był „krótki, zwięzły i rzeczowy, i tak klarowny, jak w dawnych czasach”. Widoczna była jednak niemoc intelektualna starego jurysty.