Aż do końca XVIII wieku europejscy osadnicy zajmowali tylko południową część dzisiejszego stanu, osiedlając się głównie w dolinie rzeki Hudson i dookoła miasta Nowy Jork u jej ujścia. Tereny północne i północno-zachodnie obecnego stanu były zdominowane przez silne plemiona Indian (przede wszystkim Irokezów), które do 1760 często posiadały poparcie Francuzów z sąsiedniej Kanady. Dopiero w trakcie amerykańskiej wojny rewolucyjnej armie Stanów Zjednoczonych zaczęły przejmować kontrolę w tych regionach. Ostatecznie tereny te formalnie stały się własnością Stanów Zjednoczonych na skutek traktatów podpisanych z Indianami do 1797.
W 1835 roku Nowy Jork przyćmił Filadelfię jako największe miasto USA i pozostaje nim do tej pory. Do 1850 roku Irlandczycy stanowili jedną trzecią całkowitej populacji miasta.
Od 1910 do połowy lat 70. XX wieku był celem wielkiej migracji Afroamerykanów z Południa. W tym czasie Nowy Jork przyjął więcej afroamerykańskich przybyszów niż jakiegokolwiek inny stan. W latach 50. XX wieku zaczęli masowo napływać Portorykańczycy.