Kariera trenerska Po zakończeniu kariery piłkarskiej w 1978 roku Osim powrócił do kraju i został nowym szkoleniowcem klubu, w którym zaczynał karierę, Željezničara Sarajewo. W drużynie tej pracował do roku 1986 i przez 8 lat pracy wywalczył dwukrotnie wicemistrzostwo Jugosławii, awansował do finału Pucharu Jugosławii oraz półfinału Pucharu UEFA. W tym samym czasie był także trenerem olimpijskiej reprezentacji Jugosławii, którą trenował na Letnich Igrzyskach Olimpijskich w Los Angeles 1984. Z Los Angeles przywiózł brązowy medal.
W 1986 roku szefowie federacji zdecydowali się powierzyć Osimowi pierwszą reprezentację. "Plavi" pod jego wodzą awansowali do finałów Mistrzostw Świata we Włoszech. Tam po zwycięstwach 1:0 z Kolumbią i 4:1 z ZEA oraz porażce 1:4 z RFN Jugosłowianie awansowali do 1/8 finału. Tu z kolei wygrali po dogrywce 2:1 z Hiszpanią, a zatrzymała ich dopiero Argentyna, która w ćwierćfinale wygrała dopiero po rzutach karnych. W 1992 roku Jugosławia zakwalifikowała się do Euro 92, jednak z powodu wojny na Bałkanach została wycofana z tej imprezy i zastąpiona Danią. Sam Osim zrezygnował z pracy z kadrą ze względu na rodzinę, która przeżyła serbskie bombardowania Sarajewa.