W połowie 2001 roku objął paragwajską ekipę Club Guaraní ze stołecznego Asunción, którą trenował przez kolejne dwa lata, w sezonie 2003 zdobywając z nią wicemistrzostwo kraju.

W 2003 roku Costas został trenerem peruwiańskiego giganta – stołecznej Alianzy Lima. Tam już w pierwszych rozgrywkach – 2003 – wywalczył tytuł mistrza Peru, pokonując w decydującym spotkaniu po dogrywce Sporting Cristal (2:1). Sukces ten powtórzył rok później, w sezonie 2004; wówczas jego drużyna również zwyciężyła w finale rozgrywek ze Sportingiem Cristal (0:0, 5:4 k.), tym razem w serii rzutów karnych. Podczas pobytu w tym zespole wypromował również kilku znanych później zawodników, między innymi Jeffersona Farfána. Ogółem Alianzę prowadził przez półtora roku, po czym powrócił do Paragwaju, podpisując umowę z tamtejszym czołowym klubem – Cerro Porteño z siedzibą w stolicy. W sezonie 2005 wywalczył z tą ekipą mistrzostwo Paragwaju, triumfując zarówno w wiosennej fazie Apertura, jak i w jesiennej Clausura. Podczas rozgrywek 2006 zanotował natomiast z Cerro tytuł wicemistrzowski;