Pierwszymi więźniami byli niemieccy prześladowani wówczas homoseksualiści oraz kryminaliści. Następnie przeniesiono tu ok. tysiąca więźniów z KL Dachau oraz wielu Polaków, członków ruchu oporu. Regularnie urządzano masowe egzekucje w pobliskiej strzelnicy. Egzekucje dotyczyły także wielu sowieckich jeńców wojennych. Większość więźniów pochodziła z Europy Środkowo-Wschodniej.
Radzieccy jeńcy wojenni zorganizowali powstanie w jednym z podobozów Flossenbürga: Mülsen Saint Micheln. Żadnemu więźniowi nie udało się wówczas zbiec.
96 tys. więźniów przeszło przez Flossenbürg, z czego ok. 6 tys. w obozie macierzystym. Około 30 tys. w nim zginęło. Spotyka się i ponad dwukrotnie większe szacunki. Według naocznego świadka, więźnia obozu Pawła Wosia mogło zginąć 77 tys. ludzi, w tym: 28 tys. jeńców sowieckich 17 tys. Polaków 3200 Francuzów 3200 Czechów 3100 Żydów 2 Amerykanów – pilotów zestrzelonych podczas powstania warszawskiego nieznana liczba Serbów nieznana liczba Estończyków nieznana liczba Chorwatów nieznana liczba Włochów nieznana liczba Niemców (w tym przeciwnicy Hitlera, np. Wilhelm Canaris czy Dietrich Bonhoeffer)