Już na koniec sezonu 2003/2004 Barovero spadł wraz ze swoją ekipą do drugiej ligi, po zaledwie roku spędzonym na najwyższym szczeblu. Bezpośrednio po relegacji został podstawowym bramkarzem Atlético, szybko zasługując na miano czołowego zawodnika pierwszoligowego zaplecza i przez kolejne trzy lata bezskutecznie walczył z zespołem o powrót do najwyższej klasy rozgrywkowej. Najbliżej tego osiągnięcia był w sezonie 2004/2005, kiedy to jego ekipa uległa w dwumeczu barażowym o promocję zespołowi Argentinos Juniors. W lipcu 2007 przeniósł się do beniaminka pierwszej ligi – drużyny Club Atlético Huracán z siedzibą w stołecznym Buenos Aires, gdzie 5 sierpnia 2007 w zremisowanym 1:1 spotkaniu z Arsenalem de Sarandí zadebiutował w argentyńskiej Primera División. Ogółem w barwach Huracánu spędził rok bez większych sukcesów, mając pewne miejsce między słupkami.