W latach 80.–90. linia kolejowa znajdowała się w całkowitym upadku. Estakada powoli zaczęła zarastać chwastami i stała się niebezpiecznym miejscem, przyciągającym m.in. dilerów sprzedających narkotyki. W 1991 roku 5 przęseł estakady od Bank Street do Gansevoort Street zostało zburzonych przez przebudowę starego magazynu na budynek mieszkalny. Przez wiele lat porzucona High Line uważana była przez lokalną społeczność za brzydką konstrukcję, psującą wizerunek miasta. Ówczesny burmistrz Nowego Jorku Rudy Giuliani podpisał dokument nakazujący rozbiórkę High Line. Nikt nie dostrzegał w owym czasie potencjału tego miejsca, jako "kwitnącego ogrodu dzikich roślin", w który z czasem się zamieni.

Rewitalizacja i "Przyjaciele High Line" mały|Porzucony odcinek High Line w 2009 roku Sprawą High Line zainteresowało się dwóch mieszkańców Nowego Jorku: Robert Hammond i Joshua David, którzy opowiadali się za zachowaniem High Line i ponownym jej wykorzystaniem jako publicznej przestrzeni, proponowali przebudowę starej estakady w podwyższony park lub zieloną drogę podobną do Promenade Plantée w Paryżu. W tym celu w 1999 roku Robert Hammond i Joshua David założyli organizację non-profit "Przyjaciele High Line" (ang. Friends of the High Line).