Komandor Rogers zaopiniował bezwzględną konieczność przystosowania obszaru dla marynarki, twierdząc, że jeśli wroga flota zajmie Dry Tortugas, Stany Zjednoczone i żegluga w obrębie Zatoki Meksykańskiej będzie w śmiertelnym niebezpieczeństwie i ufortyfikowanie przez USA wysp Dry Tortugas da możliwość bezpiecznego korzystania z zatoki w przyszłości.
Seria badań technicznych i biurokratycznych przeszkód spowodowała opóźnienie budowy Fortu Jefferson (nazwany tak na cześć trzeciego prezydenta Thomasa Jeffersona) na 17 lat. Budowę na Key Garden rozpoczęto w 1846 roku, prace przerwano w 1875. Fort został zaprojektowany tak, że istniejąca Garden Key Light i dom latarnika zostały zawarte w obrębie murach fortu. Latarnia morska w dalszym ciągu miała pełnić istotną funkcję w prowadzeniu statków przez wody w obrębie Wysp Dry Tortugas aż do 1876 roku, kiedy to zbudowano działającą na prąd, lekką metalową latarnię na szczycie sąsiedniej ściany twierdzy. Oryginalną ceglaną wieżę latarni rozebrano w 1877 roku.