Każdego lata wyjeżdżała razem z ojcem do Hamburga, do dziadków i dwóch sióstr matki – Elsy (którą nazywała „Mutti”, bo przypominała jej zmarłą matkę) i Luny; .. Elsa nauczyła ją płynnej mowy po niemiecku, zachęcała do czytania i recytowania krótkich wierszy niemieckich oraz śpiewania lokalnych pieśni.
W 1922 jej ojciec zatrudnił 18-letnią guwernantkę Gretę Danielsson, studentkę szkoły muzycznej, z którą Bergman nawiązała przyjacielską więź; ; .. Gdy związał się ze znacznie młodszą od siebie partnerką, Bergman – uważając, że ojciec „potrzebował miłości” – zaaprobowała ich związek. Wobec zdecydowanego sprzeciwu kuzynek ze strony ojca, Danielsson wyprowadziła się od Bergmanów; odrzuciła też propozycję małżeństwa; .. Ellen, pomimo braku akceptacji dla wyboru brata, opiekowała się jego córką; obie uczęszczały na niedzielne msze do parafialnego kościoła pod wezwaniem Jadwigi Eleonory; ..
W 1924 Bergman objął stanowisko dyrygenta mieszanego chóru amatorskiego, z którym wyruszył w minitrasę po trzech miastach w Stanach Zjednoczonych, zaś jego córka trafiła pod opiekę wujka Ottona i ciotki Huldy. Mieli oni pięcioro dzieci – trójkę chłopców (Billa, Bengta, Bo) i dwie dziewczynki (Brittę, Margit). Przyjaźń nawiązała z młodszą z sióstr, Britt; ;