Historia mały|lewo|Pozostałości zabudowań na wyspie Wyspa została objęta w posiadanie przez Stany Zjednoczone w 1857 roku na podstawie tzw. Guano Islands Act z 1856, zezwalającej USA na zajmowanie wysp zawierających złoża guana. Od 1886 do 1934 do wyspy zgłaszała roszczenia Wielka Brytania uznając ją za należącą do Brytyjskich terytoriów zamorskich. W latach 1850–1890 działały tu kompanie wydobywające guano doprowadzając do wyeksploatowania surowca. W latach 30. XX wieku rozpoczęto kolonizację Wyspy Baker imigrantami z Hawajów. W 1936 zarząd nad wyspą przejął Departament Spraw Wewnętrznych USA. Cywile, zamieszkujący jedyną osadę Meyerton, zostali ewakuowani w 1942 roku po pierwszych bombardowaniach przeprowadzonych przez Japończyków (wyspa została zbombardowana 8 grudnia 1941 roku, następnego dnia po ataku na Pearl Harbor). W 1943 wyspa została zajęta przez żołnierzy US Army i założono na niej bazę lotniczą. Została ona opuszczona w latach 50. XX wieku. W 1974 wyspa została objęta ochroną prawną jako National Wildlife Refuge i przejęta w zarząd przez United States Fish and Wildlife Service (Służbę Połowu i Dzikiej Przyrody Stanów Zjednoczonych).