Był jednocześnie zastępcą szefa referatu IV B („zrzeszenia religijne, masoneria, sprawy żydowskie”).

Głównym zadaniem Brandta i funkcjonariuszy kierowanego przezeń podreferatu było sprawowanie „politycznego nadzoru” nad ludnością żydowską w dystrykcie warszawskim. Z racji pełnionej funkcji dwa razy w tygodniu odbierał sprawozdania od przewodniczącego Judenratu w getcie warszawskim Adama Czerniakowa oraz komendanta Żydowskiej Służby Porządkowej (ŻSP) Józefa Szeryńskiego. Trafiały doń raporty i doniesienia sporządzone przez konfidentów, których Gestapo zwerbowało w getcie. Podlegał mu jednocześnie Urząd do Walki z Lichwą i Spekulacją („Trzynastka”) będący nieoficjalną niemiecką agenturą w warszawskiej dzielnicy zamkniętej.

Był jednym z głównych wykonawców wielkiej akcji deportacyjnej w lecie 1942 roku, podczas której zamordowano blisko 300 tys. mieszkańców getta warszawskiego. Na krótko przed jej rozpoczęciem zapewniał Czerniakowa, że pogłoski o planowanym „wysiedleniu” są fałszywe, a warszawscy Żydzi nie mają powodów do obaw. Po rozpoczęciu „Wielkiej Akcji” wraz ze swym zastępcą SS-Oberscharführerem Gerhardem Mende stanął na czele tzw. warszawskiego sztabu wysiedleńczego, którego siedzibę urządzono w biurach ŻSP przy ul. Ogrodowej 17. Aktywnie uczestniczył w organizacji wywózek warszawskich Żydów do obozu zagłady w Treblince.