Wrócił do Japonii na serię koncertów z japońskim saksofonistą i flecistą Sadao Watanabe, z którym nagrał też albumy Charlie Mariano i Sadao Watanabe(1967) i We Got a New Bug (1968), a z Arifem Mardinem Glass Onion (1968). W 1967 rozpadło się jego małżeństwo z Akiyoshi.
Po zakończeniu pracy w Malezji, mimo reputacji zdecydowanego muzyka bopowego, założył i kierował grupą Osmosis, grającą nową wówczas muzykę fusion, łączącą jazz i rocka. Nagrali też album Osmosis (1970).
Od 1971 Mariano przebywa w Europie, mieszkając w Holandii (gdzie grał z Chrisem Hinze) i Belgii, dokąd zaprosił go Stu Martin i gdzie powstał ich free jazzowy zespół Ambush (rozwiązany po prawie roku działalności). W 1972 przebywał w Zurichu, biorąc udział (grając na scenie) w spektaklu teatralnym „Marat/Sade” Petera Weissa, z muzyką napisaną przez George’a Gruntza. W Niemczech poznał członków grupy Embryo, z którą w rezultacie grywał na koncertach, a w grudniu 1972 zarejestrował album We Keep On.
Kontynuacją koczowniczego trybu życia był wyjazd do Indii w 1973, gdzie mieszkał Muthaiah – człowiek, który w Malezji uczył go gry na nagaswaram.