Bryher podróżowała po Europie jako dziecko, odwiedzając Francję, Włochy, Egipt, Hiszpanię, Niemcy, Szwajcarię, Afrykę Północną i Grecję. W wieku czternastu lat zapisała się do Queenwood Ladies’ College i mniej więcej w tym czasie jej rodzice zawarli związek małżeński. Podczas jednej ze swoich podróży Ellerman dotarła na wyspy Scilly u południowo-zachodnich wybrzeży Wielkiej Brytanii i otrzymała swój przyszły pseudonim od swojej ulubionej wyspy, Bryher.
W latach dwudziestych Bryher była niekonwencjonalną postacią w Paryżu. Wśród jej przyjaciół byli Ernest Hemingway, James Joyce, Gertrude Stein, Sylvia Beach i Berenice Abbott. Jej bogactwo pozwoliło jej udzielać wsparcia finansowego pisarzom borykającym się z trudnościami, w tym Joyce i Edith Sitwell. Pomagała również w finansowaniu księgarni Sylvii Beach Shakespeare and Company oraz pewnych przedsięwzięć wydawniczych, a także założyła firmę filmową Pool Group. Pomogła również zapewnić fundusze na zakup mieszkania w Paryżu dla ubogiej dadaistycznej artystki i pisarki baronowej Elsy von Freytag-Loringhoven. Ponadto Berenice Abbott, która pracowała dla Mana Raya w latach dwudziestych, chciała mieć własny aparat, zamiast polegać na Rayu, więc Bryher kupiła i podarowała Abbott aparat.