Za panowania dynastii Qin pasmo znane było jako Yi Shan („Góra Yi”). W 747 roku n.e. dekretem cesarskim zmieniono jego nazwę na Huang Shan („Góry Huang”, dosł. „Góry Żółte”). Powszechnie przyjmuje się, że nazwa ta powstała na cześć Huang Di („Żółtego Cesarza”), legendarnego cesarza Chin i mitycznego przodka Chińczyków Han. Legenda głosi, że góry Huang Shan były miejscem, z którego Żółty Cesarz wzniósł się do nieba. Według innego podania, „kształtował on w tych górach swój charakter, doskonalił pigułki nieśmiertelności i tym samym dał górom swoje imię”. Pierwsze użycie nazwy „Huang Shan” przypisuje się chińskiemu poecie Li Bai. W starożytności pasmo Huang Shan było raczej niedostępne i mało znane. Jednak zmiana nazwy w 747 roku stała się prawdopodobną przyczyną wzrostu zainteresowania tym rejonem. Od tego czasu góry są często odwiedzane, zbudowano tu wiele świątyń. Inną przyczyną mógł być fakt, że w tym okresie założył tam swoją świątynię mistrz chan, Zhiman (później przekształconą w klasztor Xiangfu).

Charakterystyczne dla pasma Huang Shan są kamienne schody wyżłobione w zboczach gór. Na całym obszarze może być ponad 60 000 stopni.