Pięć miesięcy później w pierwszej obronie swojego tytułu pokonał na punkty José Antonio Aguirre, byłego mistrza świata WBC w kategorii słomkowej.
10 sierpnia 2006 roku doznał pierwszej porażki w zawodowej karierze i stracił tytuł mistrza świata, przegrywając na punkty z Omarem Niño Romero. Trzy miesiące później doszło do walki rewanżowej między oboma pięściarzami. Romero wygrał walkę decyzją większości, mimo że dwukrotnie, w piątej i dziewiątej rundzie, był liczony. Jednak wkrótce po pojedynku w organizmie Romero wykryto niedozwolone środki dopingujące (metamfetaminę), walkę uznano więc za nieodbytą, a Meksykaninowi odebrano pas mistrzowski.
O wakujący tytuł Viloria zmierzył się 14 kwietnia 2007 roku z Edgarem Sosą, przegrał jednak decyzją większości na punkty. W 2008 roku wygrał pięć kolejnych pojedynków w kategoriach wagowych muszej i junior koguciej, po czym dostał szansę walki o kolejny tytuł mistrza świata w kategorii junior muszej, tym razem organizacji IBF. Viloria wygrał z Ulisesem Solísem przez techniczny nokaut w jedenastej rundzie. Meksykanin doznał rozcięć skóry nad oboma oczami, sędzia odebrał mu też po punkcie w rundach trzeciej i piątej za uderzenia poniżej pasa.