Tylko około 2 procent osób przechodzących przez stację nie otrzymało zgody na osiedlenie się w USA i musiało wrócić do Europy, głównie z powodu kłopotów zdrowotnych, chorób psychicznych lub kryminalnej przeszłości.
We wczesnych latach dwudziestych Stany Zjednoczone drastycznie ograniczyły liczbę przyjmowanych imigrantów. Ponadto Stany Zjednoczone, stając się światową potęgą po I wojnie światowej, otworzyły sieć ambasad na całym świecie, gdzie potencjalni imigranci mogli ubiegać się o wizy, eliminując potrzebę badania imigrantów w momencie ich przybycia.
W 1924 roku wyspa Ellis przestała być głównym punktem wjazdowym. Tę rolę przejęły inne placówki, a sama wyspa stała się punktem przetrzymywania uchodźców lub osób uznawanych za potencjalnych „wrogich cudzoziemców” (ang. enemy aliens), głównie Niemców, Włochów i Japończyków podczas wojny. Po zamknięciu w 1954 roku opuszczone budynki stacji popadły w ruinę. Wyspa nie miała stałych mieszkańców i połączenia ze stałym lądem. Co więcej, przez wiele lat toczyły się spory między stanami Nowy Jork i New Jersey o jurysdykcję.