Kariera reprezentacyjna Cocu był bliski swojego międzynarodowego debiutu w 1994 roku. Trener Dick Advocaat umieścił go w 25-osobowym składzie tymczasowym na Mundial w USA ze względu na jego występy w Vitesse, ale ostatecznie nie znalazł się w drużynie. Zadebiutował w wieku 25 lat na początku 1996 roku w meczu pokazowym przeciwko Niemcom, gdy otrzymał powołanie od Guusa Hiddinka. Cocu strzelił swojego pierwszego gola w reprezentacji przeciwko Republiki Irlandii w czerwcu. Cocu został powołany na Euro 1996 przez Hiddinka. Wystąpił jako rezerwowy w dwóch meczach fazy grupowej i został włączony do pierwszej drużyny po przegranej ćwierćfinałowej z Francją. Dwa lata później holenderska drużyna zakwalifikowała się na Mundial we Francji, a Cocu zapewnił sobie miejsce jako pierwszy członek zespołu. Wystąpił we wszystkich meczach Mistrzostw Świata, strzelając w meczach fazy grupowej przeciwko Korei Południowej i Meksykowi. W półfinale przeciwko Brazylii, mecz zakończył się rzutami karnymi. Cocu wykonywał trzeciego karnego dla Holandii, ale jego strzał obronił Cláudio Taffarel. Holandia ostatecznie przegrała rzuty karne (4:2).