Miał także dom w Londynie, gdzie para spędzała dużo czasu i urządzała cotygodniowe spotkania, na które przybywała śmietanka literacka i artystyczna: do gości zaliczali się m.in. Robert Browning, John Everett Millais i Henry James. Ich jedyne dziecko, syn o imieniu Robert, urodził się w 1881 roku. Zginął, służąc w brytyjskich siłach powietrznych podczas I wojny światowej, co zainspirowało Yeatsa do napisania wierszy „An Irish Airman Foresees His Death” i „In Memory of Major Robert Gregory”.
Wczesne utwory Rodzina Gregorych podróżowała do Cejlonu, Indii, Hiszpanii, Włoch i Egiptu. Podczas wyjazdu do tego ostatniego państwa Lady Gregory miała romans z angielskim poetą, Wilfridem Scawen Bluntem, podczas którego napisała serię miłosnych poematów, A Woman's Sonnets. Później Blunt opublikował je pod swoim nazwiskiem.