W 1964 roku, pod przewodnictwem Tadeusza Oczko, dyrektora kopalni Chwałowice, powstała sekcja piłki nożnej. W sezonie 1966/67 drużyna zwyciężyła w śląskiej grupie III ligi, a kolejny sezon przyniósł awans do najwyższej klasy rozgrywkowej po zajęciu drugiego miejsca. Pierwszy rok w I lidze zakończył się spadkiem do II ligi, ale sezon 1969/70 przyniósł powrót do ekstraklasy.
Sezon 1972/73 zakończył się sukcesem dla drużyny, która zajęła siódme miejsce w I lidze. W kolejnym sezonie ROW Rybnik utrzymał się w lidze, kończąc rozgrywki w środku tabeli. Sezon 1974/75 był mieszany; pomimo dobrego startu, drużyna zakończyła sezon z 26 punktami, pozostając w I lidze. W Pucharze Polski ROW Rybnik dotarł do finału, eliminując m.in. Legię Warszawa i Górnik Zabrze. Kolejne sezony były trudne, a w sezonie 1976/77 drużyna spadła do II ligi.
Po spadku do II ligi klub nie zdołał wrócić do ekstraklasy, a najlepsi zawodnicy odchodzili. Sezon 1977/78 przyniósł piąte miejsce w II lidze, a kolejne sezony były coraz trudniejsze. W sezonie 1982/83 klub spadł do III ligi. Następny sezon przynosił nadzieję na awans, ale drużyna nie zdołała pokonać Ślęzy Wrocław, a pod koniec lat 80.