Palomino w obronie zdobytego tytułu mistrzowskiego pokonał kolejno: Armando Muñíza 21 stycznia 1977 w Los Angeles przez techniczny nokaut w 15. rundzie, Dave’a Boya Greena 14 czerwca 1977 w Londynie przez nokaut w 11. rundzie, Everaldo Costę Azevedo 13 września 1977 w Los Angeles na punkty, José Palaciosa 10 grudnia 1977 w Los Angels przez nokaut w 13. rundzie, Ryu Sorimachi 11 lutego 1978 w Las Vegas przez nokaut w 7. rundzie, Mimouna Mohatara 18 marca 1978 w Las Vegas przez techniczny nokaut w 9. rundzie i ponownie Armando Muñíza 25 maja 1978 w Los Angeles na punkty.
W kolejnej walce Palomino stracił tytuł mistrzowski. 14 stycznia 1979 w San Juan Wilfred Benítez pokonał go niejednogłośnie na punkty.
W następnej walce Palomino zmierzył się z Roberto Duránem, który przeszedł do wagi półśredniej po rezygnacji z tytułu mistrzowskiego w wadze lekkiej. 22 czerwca 1979 Durán jednogłośnie zwyciężył na punkty. Po tej walce Palomino wycofał się z zawodowego uprawiania boksu.
Próbował swych sił jako aktor, występując w wielu filmach i programach telewizyjnych. Jego młodszy brat Paul Palomino był bokserem amatorskim. Zginął wraz z pozostałymi członkami reprezentacji USA w katastrofie lotniczej na Okęciu w 1980.