W sezonie 1955 beniaminek, występujący znów jako Garbarnia, zajął bardzo wysokie 6. miejsce na koniec rozgrywek. Był to ostatni występ Garbarni na tak wysokim poziomie. W edycji MP 1955 piłkarze Garbarni była najbardziej fair grającym zespołem w lidze, zaś w lutym 1956 wyjechali na miesięczne tournee do Chin Ludowych. W sezonie 1956 spadli z ligi po zajęciu ostatniego, 12. miejsca w tabeli i jak dotąd był to ostatni sezon Garbarni w polskiej ekstraklasie.

Na zapleczu ekstraklasy Garbarnia spadła do grupy południowej II ligi. W pierwszym sezonie (1957) piłkarze z Ludwinowa zajęli wysoką 4. pozycję. Sezon 1958 Brązowi ukończyli na przedostatnim miejscu w tabeli swojej grupy i spadli do grupy krakowskiej Ligi Okręgowej. Był to pierwszy występ Garbarzy na trzecim poziomie ligowym od ponad 30 lat (ostatni raz w 1926 roku). Pobyt na tym szczeblu trwał tylko rok, bowiem gracze Garbarni bez problemu rozprawili się z rywalami strzelając w sezonie aż 100 bramek. Wygrali również turniej barażowy i powrócili na kolejne trzynaście lat do II ligi.