John Lennon, Julie Christie i Marlon Brando.
Szacunek jakim darzyły go środowiska hipisowskie oraz pieniądze z restauracji pozwoliły Bakerowi stworzyć własną wspólnotę duchową. Początkowo zaczął prowadzić warsztaty z medytacji i głosić kazania. Przybrał imię ojciec Yod, a później YaHoWha. Stał się patriarchą gminy młodych ludzi, którzy widzieli w nim swojego guru. Grupa mieszkała razem w rezydencji w Hollywood Hills i była wspierana z zysków, jakie przynosiła restauracja Baker Source, a później inne jego restauracje.
Wspólną liczyła około 150 osób obojga płci. Wśród nich Baker miał 14 żon (ale tylko jedną prawną) i 3 dzieci.
Niektórzy członkowie Source Family byli muzykami. W 1973 roku Baker sformował z nich zespół rockowy YaHoWha 13, sam zostając jego liderem. Zespół wyprodukował około 65 albumów.
Ponieważ wspólnotą Source Family zaczęły interesować się władze, wymusiło to na grupie konieczność przeprowadzki.
26 grudnia 1974 roku Baker sprzedał restaurację i przeniósł się wraz ze swoją wspólnotą na Hawaje. 25 sierpnia 1975 roku doznał ciężkich obrażeń po nieudanym skoku na lotni.