Chociaż drużyna dobrze radziła sobie w pierwszym sezonie, jej pobyt w drugiej lidze nie zakończył się szczęśliwie i w 1984 roku klub po raz kolejny spadł do trzeciej ligi.
Po zdegradowaniu władze klubu wyznaczyły Arthurowi Coxowi misję przełamania fatalnej passy. Cox wykonał zadanie i po dwóch latach spędzonych w trzeciej lidze stawający na nogi zespół awansował do Second Division. Tam już przy pierwszym podejściu w 1987 roku zajął pierwsze miejsce gwarantując sobie tym samym powrót do First Division.
W sezonie 1988–1989 klub zakończył rozgrywki na piątym miejscu mając w swoim składzie gwiazdy takie jak Peter Shilton, Mark Wright, Dean Saunders czy Ted McMinn. Jednakże po zamieszkach na Heysel angielskie kluby zostały wykluczone z europejskich rozgrywek i Barany straciły szansę na grę w pucharze UEFA.