Z powodu jej otwartości i doskonałej pamięci do nazwisk i twarzy, rozpuszczano plotki, że Dolley Madison flirtuje z obcymi mężczyznami.
Kiedy na przełomie I i II kadencji Madisona, toczyła się niepopularna w USA wojna brytyjsko-amerykańska, Dolley spotykała się z żołnierzami i zagrzewała ich do walki. Starała się także zyskać poparcie dla swojego męża, które było zachwiane, z powodu rosnącej opozycji wobec działań wojennych. W tym okresie rzadko organizowała też przyjęcia w Białym Domu, m.in. dlatego, że musiała przejąć część obowiązków współpracownika prezydenta Neda Colesa, a także samego Madisona, którzy byli niedysponowani z powodu choroby. W 1814, kiedy Brytyjczycy oblegali Waszyngton, Madison nalegał, by jego żona opuściła stolicę. Gdy 24 sierpnia tr. wojska brytyjskie wkroczyły do miasta, Dolley opuściła Biały Dom i udała się do Falls Church, ratując m.in. oryginał Deklaracji Niepodległości. Kiedy trzy dni później Brytyjczycy zostali wyparci z Waszyngtonu, Madisonowie powrócili do siedziby prezydenckiej, która nie nadawała się już do zamieszkania. Przez pewien czas para prezydencka zamieszkiwała w Octagon House przy rogu Pennsylvania Avenue i 18th Street. Po zakończeniu kadencji prezydenckiej oboje powrócili do Montpelier.