Znana również z niekonwencjalnego stylu życia Anne Lister z Yorkshire, odwiedziła parę i prawdopodobnie została zainspirowana ich związkiem, by również nieformalnie poślubić swoją kochankę. Nawet podróżnicy z Europy kontynentalnej słyszeli o „damach” i przyjeżdżali w odwiedziny: chociażby książę Hermann von Pückler-Muskau, niemiecki szlachcic i architekt krajobrazu, pisał o nich z podziwem.

„Damy” były znane w całej Wielkiej Brytanii, ale uważa się, że prowadziły „raczej mało ekscytujące życie”. Królowa Zofia Charlotta chciała zobaczyć ich posiadłość i przekonała króla Jerzego III, aby przyznał im pensję. W końcu także ich własne rodziny zaczęły tolerować nietradycyjny związek.

Życie prywatne Butler i Ponsonby mieszkały razem przez 50 lat. Ich książki i zastawa opatrzone były podwójnymi inicjałami, podpisywały również wspólnie listy. Pod koniec życia obie nosiły czarne stroje do jazdy konnej i męskie krawaty oraz cylindry;