jego szwagier Francis Seymour Haden odrzucił zaproszenie na obiad zimą 1863–64 motywując to dominującą rolą Hiffernan w ich domu. W styczniu matka artysty, Anna, przedstawiona później na obrazie Aranżacja szarości i czerni, przyjechała do Londynu, żeby zamieszkać razem z synem. W rezultacie Joanna Hiffernan musiała się wyprowadzić z ich mieszkania, do którego odtąd przychodziła tylko w charakterze modelki. Matka artysty nie lubiła jednak Hiffernan a jego stosunki z obiema kobietami stały się napięte.
Powstanie obrazu i jego recepcja Whistler rozpoczął pracę nad Symfonią w bieli nr 3 przypuszczalnie już w lipcu 1865. Był to ostatni z jego obrazów, do których pozowała Hiffernan. Jako druga modelka wystąpiła Milly Jones, żona zaprzyjaźnionego aktora. Do połowy sierpnia gotowy był szkic a praca nad obrazem potrwała do września. Whistler ciągle nanosił poprawki i dopiero w 1867 uważał obraz za ukończony. Zamalował ostatnią cyfrę "5" w dacie i zastąpił ją "7", żeby zaznaczyć dokonane w obrazie zmiany. W marcu 1867 William Michael Rossetti napisał po obejrzeniu obrazu w pracowni Whistlera, iż nosił wcześniej nazwę Dwie dziewczynki w bieli. Obraz powędrował następnie na wystawę Royal Academy of Arts. Dzieło wzbudziło duży podziw wśród kolegów Whistlera, w tym Henri Fantin-Latoura, Alfreda Stevensa, Jamesa Tissota i Edgara Degasa.