Podczas obrony Warszawy we wrześniu 1939 zabudowania koszar mocno ucierpiały na skutek niemieckich bombardowań. 2 października 1940 obiekt znalazł się na terenie warszawskiego getta, a 15 listopada tego samego roku urządzono w nim tzw. Areszt Centralny dla Dzielnicy Żydowskiej (adres: ul. Gęsia 22 lub 24). W sierpniu 1942, w czasie wielkiej akcji deportacyjnej, stał się siedzibą Rady Żydowskiej, która musiała opuścić budynek przy ul. Grzybowskiej 26/28 z powodu wyłączenia z dzielnicy zamkniętej tzw. małego getta. Od jesieni 1942 istniał również wychowawczy obóz pracy policji bezpieczeństwa.
Budynek został spalony w czasie powstania w getcie, a następnie od lipca 1943 do 5 sierpnia 1944 znajdował się na terenie obozu koncentracyjnego KL Warschau, tzw. „Gęsiówki”. Po wojnie na jego terenie przez krótki czas prowadzony był obóz NKWD (od stycznia do maja 1945), a od połowy 1945 polski obóz pracy dla Niemców odbudowujących Warszawę, który funkcjonował tu do 1949. W okresie 15–25 września 1946 prowadzone były również prace ekshumacyjne. W drugiej połowie 1949 założono na jego terenie Centralne Więzienie – Obóz Pracy Warszawa II Gęsiówka. Obóz zlikwidowano w 1956. Dość dobrze zachowane wypalone mury budynku rozebrano w 1965.