Próbował także sił w polityce: w latach 1927–1934 zasiadał w warszawskiej Radzie Miejskiej, a w 1930 roku zdobył mandat w wyborach uzupełniających do Senatu, którego ze względu na rozwiązanie parlamentu nie zdążył jednak objąć. W 1937 roku został członkiem powołanego przez władze sanacyjne tymczasowego zarządu komisarycznego Gminy Wyznaniowej Żydowskiej w Warszawie.
Podczas obrony Warszawy we wrześniu 1939 roku prezydent miasta Stefan Starzyński mianował go komisarycznym prezesem gminy żydowskiej. Po kapitulacji stolicy niemieckie władze okupacyjne postawiły go na czele warszawskiego Judenratu. Na tym stanowisku starał się prowadzić politykę pragmatyczną i kompromisową, unikając bezpośredniej konfrontacji z Niemcami, a jednocześnie starając się łagodzić ich zarządzenia oraz uratować jak największą liczbę istnień ludzkich. Dwukrotnie został pobity i na krótko uwięziony. Był jednocześnie silnie krytykowany przez żydowskie podziemie oraz darzony niechęcią przez większość mieszkańców getta warszawskiego.