Jego córka Helen Elizabeth (1824–1894) wyszła w 1846 roku za adwokata z Utiki, Jamesa Watsona Williamsa (1810–1873), który wkrótce stał się udziałowcem w interesach swojego teścia i reprezentował go jako lobbysta wobec państwowego ustawodawcy. Helen Elizabeth Munson Williams stała się jedną z najważniejszych filantropek w Nowym Jorku oraz kolekcjonerką dzieł sztuki. Dwie córki Helen i Jamesa Williamsów, Rachel (1850–1915) i Maria (1853–1935) wyszły za miejscowych przedsiębiorców, przyrodnich braci Proctorów: Maria za Thomasa R. Proctora (1844–1920), miejscowego właściciela hotelu zaś Rachel za Fryderyka Proctora (1856–1929), inwestora i działacza społecznego. Dom rodzinny Williamsów zaczął być w latach 70. XIX wieku nazywany „Fountain Elms” i pozostawał ich rezydencją aż do śmierci Rachel w 1915 roku. Żadne z małżeństw Williams-Proctor nie miało dzieci. Rachel i Maria Williams odziedziczyły kolekcję założoną przez ich matkę, a ich mężowie również byli kolekcjonerami – zbierali zegarki oraz inne przedmioty charakterystyczne dla kolekcjonerów płci męskiej. Po śmierci Rachel trzej pozostali członkowie rodziny: Maria, jej mąż Fryderyk i jego przyrodni brat Thomas postanowili założyć ośrodek kulturalny. Powstały w 1919 roku Instytut zyskał miano „centrum artystycznego, muzycznego i społecznego”.