Miejscowość utraciła na znaczeniu w 2. połowie XIX wieku, wraz z rozwojem sieci kolejowej na kontynencie amerykańskim, która stworzyła dogodną alternatywę wobec wcześniejszych szlaków morskich wiodących przez Zatokę Hudsona. Większość towarów dawniej przeładowywanych w York Factory, trafiała odtąd do Winnipeg (Fort Garry). W 1873 roku miasto to przejęło funkcję ośrodka administracyjnego departamentu północnego kompanii, a York Factory zdegradowane zostało do roli placówki handlowej. Ostatni statek opuścił port w York Factory w 1931 roku.
W 1936 roku rząd Kanady ustanowił teren osady obiektem dziedzictwa kulturowego (). W 1957 roku Kompania Zatoki Hudsona zamknęła placówkę, a osada została opuszczona przez mieszkańców. W 1968 roku teren przekazany został rządowi federalnemu.
Stan obecny Większość budynków na terenie osady została rozebrana do połowy XX wieku. Do dziś zachował się trzykondygnacyjny budynek głównego składu oraz niewielki dom biblioteczny, a także pozostałości po lodowni i magazynie prochu. Znajdują się tu ślady archeologiczne ponad 150 budowli, a także cmentarz z ponad 160 grobami. Na terenie osady i jej okolic wydobyto ponad 300 000 artefaktów archeologicznych.