Podczas pracy z kadrą w latach 1991-92 był jednocześnie trenerem Partizana Belgrad, z którym wywalczył Puchar Jugosławii w 1992.

Osim wyjechał z kraju i trafił do Grecji, a tam został trenerem Panathinaikosu Ateny. Przez 2 lata pracy w „Koniczynkach” wywalczył dwa Puchary Grecji (1993 i 1994) oraz wicemistrzostwo w 1993.

W latach 1994–2002 Osim trenował austriacki Sturm Graz, który doprowadził do największych sukcesów w historii klubu czyli dwukrotnego zdobycia mistrzostwa Austrii (1998 i 1999), Pucharu Austrii (1999) i Superpucharu (1998). Pod wodzą Osima Sturm grał także w fazie grupowej Ligi Mistrzów przez 3 sezony z rzędu (1998–2000).

Po zakończeniu pracy w Sturmie Ivica wyemigrował do Japonii. Tam od 2003 do 2006 roku trenował JEF United Ichihara Chiba. Z drużyny tej zbudował kandydata do mistrzostwa Japonii. W 2003 roku JEF zajęło 3. miejsce w Pierwszej Fazie sezonu oraz 2. miejsce w Drugiej Fazie. W 2005 wywalczył pierwsze trofeum w Japonii, zdobywając J-League Cup.

21 lipca 2006 został selekcjonerem reprezentacji Japonii (jego miejsce w JEF United zajął syn Amar).