Latem 1998 roku Pellegrino został sprzedany do FC Barcelona, klubu prowadzonego przez holenderskiego szkoleniowca, Louisa van Gaala. W Primera División swój debiut zaliczył 12 września 1998 w wygranym 1:0 domowym spotkaniu z Extremadurą. W całym sezonie 1998/1999 rozegrał 23 spotkania i walczył o miejsce w składzie z Frankiem de Boerem i Abelardo. Z Barceloną został mistrzem Hiszpanii.
W 1999 roku Pellegrino wrócił do Vélezu, ale niedługo po rozpoczęciu sezonu w Argentynie powrócił do Hiszpanii i został zawodnikiem Valencii. 12 września 1999 rozegrał dla Valencii swoje pierwsze spotkanie, przegrane 0:2 z Deportivo Alavés. Od początku sezonu 1999/2000 był podstawowym zawodnikiem zespołu i jeszcze latem zdobył Superpuchar Hiszpanii. W 2002 roku został po raz drugi mistrzem Hiszpanii, a w 2004 roku zdobył Puchar UEFA (wystąpił przez 4 minuty w wygranym 2:0 finale z Olympique Marsylia). W 2004 roku wywalczył też mistrzostwo Hiszpanii oraz Superpuchar Europy.
W sezonie 2004/2005 Pellegrino stracił miejsce w wyjściowym składzie Valencii i jeszcze w trakcie sezonu odszedł do Liverpoolu. W Premier League zadebiutował 15 stycznia 2005 w meczu z Manchesterem United (0:1), a wiosną wygrał z „The Reds” Ligę Mistrzów.