Szacuje się, że od roku 1975 do 1979 w Tuol Sleng było więzionych siedemnaście tysięcy ludzi (niektóre szacunki sięgają 20 tys., lecz prawdziwa liczba nie jest znana). Więźniowie byli łapani na terenie całego kraju i zazwyczaj byli oni byłymi członkami Czerwonych Khmerów oraz żołnierzami oskarżonymi o zdradę partii i rewolucji. Pośród aresztowanych byli najwyżsi rangą politycy komunistyczni jak Khoy Thoun, Vorn Vet i Hu Nim. Chociaż oficjalną przyczyną aresztowań było „szpiegostwo”, ludzie ci mogli być uznani przez lidera Czerwonych Khmerów Pol Pota jako potencjalni liderzy wystąpień przeciwko niemu. Rodziny więźniów często były zabierane en masse w celu przesłuchania i późniejszego zabójstwa w Choeung Ek.
Chociaż większość ofiar to obywatele Kambodży, więziono również obcokrajowców w tym Wietnamczyków, Laotańczyków, Hindusów, Pakistańczyków, Brytyjczyków, Amerykanów, Nowozelandczyków i Australijczyków.