W następnym sezonie, (1977/1978) Jambos zdobywając 58 punktów, zajęli drugie miejsce gwarantujące powrót do Premier Division. W 1978/1979 klub ponownie opuścił najwyższą klasę rozgrywek, plasując się na przedostatnim, dziewiątym miejscu. W rok później Hearts triumfowali w Scottish League Division One zdobywając 53 punkty. Nie wystarczyło to jednak, aby utrzymać się w następnym sezonie w pierwszej lidze, z której Hearts spadli zajmując ostatnie, dziesiąte miejsce. W 32 spotkaniach piłkarze Hearts zgromadzili zaledwie 18 punktów, przegrywając 24 spotkania. W kolejnym sezonie spędzonym w II lidze, zespołowi nie udało się awansować, gdyż przegrał rywalizację z Motherwell F.C. oraz Kilmarnock F.C. Zajmując trzecie miejsce, klub przegrał awans z drugim Kilmarnock zaledwie jednym punktem różnicy.
Sezon 1982/1983 okazał się lepszym w wykonaniu Hearts, którzy zajęli 2. miejsce dające awans. W 39 meczach Hearts zgromadzili 54 punkty, ustępując o jeden punkt St. Johnstone F.C. Była to zasługa Wallace Mercera – nowego prezesa klubu mianowanego w 1981.
Powrót do I ligi Sezon 1983/1984 był prawdziwym wyzwaniem i ważnym sprawdzianem, dla klubu który spędził 3 lata rozgrywając swoje mecze w II lidze. Jako beniaminek, Hearts zajęli 5.