Pierwszymi więźniami byli Romowie i Sinti. Wśród tych ostatnich było 1140 osób, które w ostatniej dekadzie maja 1940 roku wysiedlono z obszaru III Rzeszy i Protektoratu Czech i Moraw, w szczególności z Hamburga i Lubeki. Obok Sinti w Bełżcu osadzano także polskich Romów ujętych na terenie Generalnego Gubernatorstwa, prawdopodobnie pochodzących przede wszystkim z terenów Lubelszczyzny i Podkarpacia.
29 maja z Lublina skierowano do Bełżca pierwszą stuosobową grupę Żydów. Były to osoby, które tego dnia na wezwanie władz niemieckich zgłosiły się do pracy w obozie przy ul. Lipowej. Dwa tygodnie później liczba więźniów żydowskich sięgała już 190. Kolejny transport ze 150 Żydami przybył 8 lipca, natomiast do 14 sierpnia do Bełżca skierowano jeszcze 350 więźniów z Lublina i Piask. Globocnik szybko doszedł jednak do wniosku, że liczba robotników przymusowych jest absolutnie niewystarczająca, jeśli wziąć pod uwagę zakres planowanych prac fortyfikacyjnych. Szacował, że dla ukończenia robót potrzebować będzie 30 tys. robotników niewykfalifikowanych i 1 tys. robotników wykwalifikowanych, a dodatkowo jeszcze 3 tys. robotników w samym obozie centralnym w Bełżcu.