Jugosłowianie ostatecznie przegrali w ćwierćfinale z późniejszymi mistrzami świata, Niemcami Zachodnimi 0:2, w meczu rozgrywanym 27 czerwca w Genewie. Papec nie pojawił się w tym turnieju na boisku ani razu, gdyż pierwsze skrzypce na boisku odgrywał słynny później trener Bora Milutinović oraz znakomity Chorwat, Branko Zebec.
Srebrny medal igrzysk olimpijskich Zlatko Papec wraz z reprezentacją Jugosławii uczestniczył w igrzyskach olimpijskich 1956 w Melbourne. Jugosławia bez kwalifikacji uczestniczyła w turnieju olimpijskim, mając prawo do rozpoczęcia gry od ćwierćfinałów. W pierwszym meczu Jugosławia zdeklasowała USA aż 9:1, gdzie hat-tricka zdobyło dwóch zawodników: Todor Veselinović i Muhamed Mujić. Jednego gola, na 3:0 zdobył Zlatko Papec. W następnym meczu Jugosławia rozgromiła Indie, gdzie po raz kolejny świetnie spisał się Zlatko Papec, który zdobył 2 gole. Jednego gola dołożył Todor Veselinović, czwartego, samobójczego – indyjski zawodnik, Visneeh Salam. W finale igrzysk olimpijskich na stadionie w Melbourne, Jugosławia spotkała się z ZSRR. Mecz ten miał podtekst polityczny, gdyż po śmierci Józefa Stalina stosunki pomiędzy oboma państwami znacznie się ochłodziły, pomimo tego, że Jugosławia pozostała państwem o ustroju komunistycznym, nie była już pod rzeczywistą kontrolą Moskwy.