Po sukcesach i wyróżnieniach przyszedł czas wielkiej próby. Sezon 1997/98 był ostatnim okresem gry Wałbrzycha w ekstraklasie. W następnym roku Chełmiec przez problemy finansowe był zmuszony wycofać się z I ligi. Ten krok był bardzo bolesny, ponieważ zespół walczył o awans do najwyższej klasy rozgrywkowej. W sezonie 1999/00 po raz ostatni wielka siatkówka gościła w legendarnej hali OSiR, ostatecznie przegrane baraże ze Stolarką Wołomin o nowo powstającą Profesjonalną Ligę Siatkówki (w całej rywalizacji 2:3) były ostatnimi występami Chełmca w ówczesnym wydaniu. Kłopoty pozasportowe (głównie organizacyjne) sprawiły, że klub musiał pożegnać się z walką o najwyższe cele sprzedając miejsce w I lidze rywalowi zza miedzy – Gwardii Wrocław.
W sezonie 2000/01 klub rozpoczął swoją siatkarską drogę na nowo. Początek gry w III lidze dolnośląskiej nie był optymistyczny. Wielu zawodników wykruszyło się z drużyny. Pomimo problemów w następnym sezonie Chełmiec występował już w II lidze. W rozgrywkach radził sobie bardzo dobrze, niestety nie uzyskał awansu na zaplecze ekstraklasy, gdyż w play offach uległ Orłowi Międzyrzecz 2:3. Klub ponownie musiał stawić czoła problemom organizacyjnym.