Młodsza córka Jeffersona, Mary, przez rodzinę często nazywana Marią, w pewnych okresach także przebywała w Waszyngtonie. Zimą 1802-1803 dwie młode kobiety wspólnie pełniły obowiązki „pierwszych dam”. Wywarły dobre wrażenie nawet na federalistach, między innymi na wielebnym Manassehu Cutlerze, który, zaproszony do Białego Domu na pierwszy obiad w sezonie towarzyskim opisał je jako kobiety o wielkiej ogładzie, bardzo subtelne i dość ładne.
Jefferson miał u swego boku nie tylko Marthę i jej siostrę, lecz także swoich zięciów. Zarówno mąż Marthy, Thomas Randolph Mann, jak i małżonek Mary, John Eppes, w 1802 roku zostali wybrani na członków Kongresu. Podczas obrad mieszkali z Jeffersonem.
W 1804 roku w wieku 25 lat zmarła Mary. Nieraz wyrażała niepokój o swą starszą siostrę, silniejszą fizycznie i emocjonalnie bliższą Jeffersonowi. On sam kochał je obie równo mocno, po śmierci młodszej córki pisał: straciłem połowę wszystkiego co posiadałem.
Martha nadal spędzała wiele czasu u boku ojca. W 1805 roku, na początku jego drugiej kadencji, pozostała przy nim przez kilka miesięcy. Podczas tej wizyty miało miejsce precedensowe wydarzenie: narodziny dziecka pierwszej damy.