Wraz z wybuchem II wojny światowej ruch wojskowy wzrósł, podobnie jak ruch pasażerski, ze względu na racjonowanie benzyny, które znacząco wpłynęło na ograniczenie ruchu samochodowego i autobusowego.
Wraz z zakończeniem racjonowania benzyny (1950) i wzrostem konkurencyjności autobusów, popyt na usługi kolejowe spadł, aż transport kolejowy stał się w końcu nieopłacalny. Ostatni pociąg pasażerski przejechał po linii 15 września 1952. Niezależnie od tego kontynuowano przewozy towarowe. Ruch towarowy z Aylsham obejmował zboże dla przemysłu spirytusowego i inne towary. W 1974 zlikwidowano urządzenia do przeładunku towarów na tor normalny. Po tej dacie ruch towarowy był kontynuowany – wożono jeszcze elementy betonowe. Ruch całkowicie ustał pod koniec 1981, a British Rail ostatecznie zamknęły linię 6 stycznia 1982.
Kolej turystyczna Hrabstwo Norfolk realizowało politykę przekształcenia nieużywanych linii kolejowych w długodystansowe, wolne od ruchu trasy rowerowe i piesze, jednak w tym wypadku szereg członków rady hrabstwa było entuzjastami kolei i wysunięto sugestię, aby na trasie wznowić ruch w formie turystycznej. Odbudowa torowisk rozpoczęła się 8 maja 1989, a otwarcie nastąpiło 10 lipca 1990.