W następnych latach liczba dzieci wzrosła do 10 (łącznie 3 synów i 7 córek). W 1850 r. John Harris zmarł, a jego żona Amelia musiała wychować dziesięcioro dzieci i utrzymać dom przy ograniczonych dochodach. W 1861 najstarszy syn, John Fitzjohn, zmarł po walce z przewlekłą chorobą, pozostawiając w domu jedynie brata Edwarda i jego żonę Sophię z panią Harris. W końcu lat 70. Edward i Sophia rozbudowali dom w kierunku północnym o duży salon, nową kuchnię i pomieszczenia dla służby. W końcu lat 80., kiedy Edward zaczął mieć trudności finansowe, jego brat George i jego żona Lucy odkupili dom, dzięki czemu Eldon House pozostało własnością rodziny Harrisów przez dwa kolejne pokolenia. Kilka lat po objęciu w posiadanie Eldon House, Lucy otrzymała duży spadek od swojej rodziny w Anglii. Przez następną dekadę udało się wprowadzić wiele ulepszeń na terenie posiadłości i wokół niej, m.in. przebudować tarasy ogrodowe i w 1896 r. wymienić oświetlenie z gazowego na elektryczne. Do salonu dobudowano oranżerię, a w pobliżu powstała szklarnia, którą można podziwiać do dziś.