W tym samym roku ŠK Sarajevo awansował do Prvej ligi Jugoslavije, zajmując wówczas szóste miejsce. W sezonie 1959/1960 klub uzyskał awans do fazy finałowej, gdzie najpierw wygrał z ŠK Titograd, ulegając następnie w półfinale Partizanowi Belgrad. W składzie drużyny znajdowali się wówczas m.in. Vladimir Kozomara, Rajko Bogdanović, Hasan Smailbegović, Muamer Osmanagić i Zdenko Grgić. W 1960 roku ŠK Sarajevo wygrał Puchar Marszałka Tito. W sezonie 1962 klub zajął czwarte miejsce w mistrzostwach kraju. W 1963 roku zespół nie przystąpił do Prvej ligi, a rok później zajął piąte miejsce w lidze. W 1965 roku klub ponownie nie uczestniczył w Prvej lidze, powrócił do niej w sezonie 1980. W 1989 roku ŠK Sarajevo spadł z ligi.
Po rozpadzie Jugosławii, w 1994 roku, w Pucharze Europy wystawiony został wspólny zespół ŠK Sarajevo i Bosni Sarajewo, który zdobył trofeum. W 2002 roku klub uczestniczył w pierwszym sezonie Premijer ligi, zajmując siódme miejsce. Rok później ŠK Sarajevo spadł z ligi. W 2021 roku zespół wrócił do pierwszej ligi, uzyskując szóste miejsce. Rok później uzyskano trzecie miejsce w lidze, a w sezonie 2023 klub zajął czwarte miejsce w lidze.