Olivares odzyskał tytuł w swej trzeciej walce z Castillo 2 kwietnia 1971, która, jak poprzednie, toczyła się w Inglewood, wygrywając na punkty.
W 1971 Olivares pokonał jeszcze byłego mistrza świata kategorii muszej Efrena Torresa (10 lipca w Guadalajarze, TKO w 4. rundzie, walka towarzyska), Kazuyoshiego Kanazawę (25 października w Nagoi, (przez nokaut w 14. rundzie) i Jesúsa Pimentela (14 grudnia w Inglewood, przez TKO w 11. rundzie). W kolejnej walce o tytuł 19 marca 1972 w Meksyku przegrał przez nokaut w 8. rundzie ze swym rodakiem Rafaelem Herrerą. Herrera pokonał go również w walce towarzyskiej 14 listopada tego roku.
Olivares przeniósł się do kategorii piórkowej. 23 czerwca 1973 w Inglewood zdobył tytuł mistrza NABF (North American Boxing Federation) wygrywając przez poddanie w 9. rundzie z przyszłym dwukrotnym mistrzem świata, niepokonanym dotąd Bobbym Chaconem. 9 lipca 1974, także w Inglewood, zdobył wakujący tytuł mistrza świata WBA wagi piórkowej, nokautując w 7. rundzie Zensuke Utagawę. W pierwszej obronie tego pasa został jednak znokautowany w 13. rundzie przez Alexisa Argüello 23 listopada tego roku w Inglewood.