Pierwsze znane historykom wzmianki na temat Aresztu Centralnego pojawiają się w dzienniku Adama Czerniakowa, przewodniczącego Judenratu. Pod datą 6 czerwca 1941 roku odnotował rozmowę z mjr. Franciszkiem Przymusińskim z Policji Polskiej Generalnego Gubernatorstwa, w której ten ostatni wskazując, że wielu „granatowych policjantów” zachorowało na tyfus, podniósł konieczność zorganizowania w getcie „aresztu żydowskiego”. Trzy dni później Czerniaków zapisał: „Uruchomiono areszt żydowski. Kierownikiem jest Lewkowicz”. Informację o utworzeniu aresztu w getcie warszawskim podano do publicznej wiadomości w połowie lipca 1941 roku na łamach wydawanej w Krakowie i koncesjonowanej przez okupanta „Gazety Żydowskiej”.
Początkowo niemieckie władze okupacyjne nie były zdecydowane, czy miejsce, w którym będą osadzani żydowscy więźniowie, powinno mieć status aresztu czy więzienia. Ostatecznie nadano mu nazwę Areszt Centralny dla Dzielnicy Żydowskiej (niem. Zentralarrest für den jüdischen Wohnbezirk). Wkrótce przeniesiono do niego Żydów przetrzymywanych dotąd w innych warszawskich więzieniach i aresztach.