Rodzina Jego ojciec JosephImię Joseph nosił również dziadek dr. Warrena (o którym jest ten artykuł), budowniczy rodzinnego domu Warrenów, jak też jego ojciec, syn a także on sam. urodzony w 1696 w tej samej miejscowości, ożenił się 29 maja 1740 roku z Mary, córką miejscowego lekarza Samuela Stevensa. Był szanowanym farmerem który przykładał dużą uwagę do swoich owoców, które sprzedawał na rynku w Bostonie. Zajmował się hodowlą lokalnej odmiany jabłoni znanej jako Warren Russet. 21 października 1755 roku złamał kark, spadając z drabiny, podczas zbierania owoców w swoim sadzie. Jego matka po śmierci męża samotnie zajmowała się gospodarstwem i płaciła za wykształcenie swoich synów. Zmarła 14 stycznia 1803 roku. Jego trzej młodsi bracia: Samuel pozostał z matką w Roxbury i kontynuował ojcowski interes. Ebenezer osiedlił się w Foxborough, był sędzią Court of Common Pleas w Norfolk County. John który uczęszczał na Harvard College i studiował medycynę z bratem, był chirurgiem w rewolucyjnej armii i założycielem Harvard Medical School.