Mimo sukcesów The M.G.’s, w 1970 podjął decyzję o rozstaniu z zespołem i przeprowadzce do Kalifornii, uważając że wytwórnia Stax od pewnego czasu bardziej traktuje go jako dyrektora, na dodatek niemającego prawa podejmowania decyzji, niż muzyka. Nagraliśmy „Time is Tight” – wspominał po latach – więc nadszedł czas. Czas, żeby poznać swoje większe „ja”. Ponadto wyjeżdżając z Memphis mogłem zajmować się innymi stylami muzyki niż to, co robiłem w Staksie. Mieszkając w Los Angeles, pracował jako wzięty muzyk sesyjny, wzbogacając swoim talentem produkcje Boba Dylana, Stephena Stillsa, Rity Coolidge, Krisa Kristoffersona, Williego Nelsona i Neila Younga. Jako aranżer i producent w A&M Records kierował realizacją bestsellerowego, debiutanckiego albumu Billa Withersa Just as I Am, na którym znalazły się przeboje Ain’t No Sunshine i Grandma’s Hands. Na wydanej w 1971 płycie grał też na instrumentach klawiszowych i gitarze. W 1975 razem z The M.G.s podjął pracę nad albumem „pojednania”, która jednak została przerwana wskutek zabójstwa Ala Jacksona. Ostatecznie płyta, pt. Universal Language, została ukończona z perkusistą Williem Hallem i ukazała się w 1977. Następnie grupa ponownie się rozstała.