Wyczerpująca podróż dodatkowo pogorszyła zdrowie przyszłej pierwszej damy, która zachorowała na gruźlicę. Z tego też powodu nie pełniła roli drugiej damy, gdy jej mąż był wiceprezydentem USA.

Po śmierci Lincolna, Andrew Johnson został prezydentem, a jego żona pierwszą damą. Jej zdrowie pozwoliło jej przyjechać do Waszyngtonu dopiero latem, gdzie dotarła z dużą częścią swojej rodziny. W czasie kadencji Johnsona, służyła mężowi radą w sprawach politycznych. Wspierała go także w czasie, gdy wszczęto wobec niego procedurę impeachmentu. Wymagająca elita waszyngtońska miała negatywną opinię o pierwszej damie. Jej inwalidztwo uniemożliwiło jej pełnienie obowiązków i tylko dwukrotnie pojawiła się na publicznych imprezach: w 1866 gdy w Waszyngtonie wizytowała królowa Hawajów i w 1868, gdy obchodzono 60. urodziny prezydenta. W roli pani Białego Domu, najczęściej zastępowała ją najstarsza córka, Martha.

Po opuszczeniu Białego domu oboje przenieśli się do Nashville. Następnie powrócili do rodzinnego Greenville. Eliza zmarła 15 stycznia 1875 roku.