Projekt mały|200px|lewo|Arkady wewnątrz Fortu Jefferson mały|Wewnętrzna ściana i latarnia od strony dziedzińca (2005) Projekt zakładał budowę trzykondygnacyjnej, sześciościennej budowli. Dwie ściany mają 325 stóp (99,06 m.), pozostałe cztery boki mają wymiary 477 stóp (145.39 m.). Ściany spotykały się narożnymi basztami, które miały umożliwić prowadzenie ostrzału. Ciężkie działa zamontowane były w ścianach w ciągu otwartych kazamatów i skierowane na zewnątrz w kierunku morza przez duże otwory strzelnicze. Fort Jefferson został zaprojektowany aby być maksymalnie odpornym na ataki i jednocześnie być w stanie zniszczyć wszystkie statki wroga na tyle lekkomyślne, aby dostać się w zasięg potężnych dział. mały|Zewnętrzna ściana fortu (2005) Pomieszczenia mieszkalne dla żołnierzy i oficerów, magazyny prochu oraz inne obiekty wymagane do utrzymania fortu znajdować się miały na wewnętrznym placu.
Do budowy fortu armia zatrudniła cywilnych robotników mechaników, stolarzy, kowali, murarzy, wykorzystała też pracę więźniów i niewolników. Od 1863 roku, w czasie Wojny secesyjnej, liczba żołnierzy skazanych i osadzonych w Fort Jefferson wzrosła tak znacznie, że niewolnicy nie byli już potrzebni. W szczycie wojskowej świetności Fort Jefferson liczył 1.729 żołnierzy.