W 1940 udało mu się opuścić Warszawę i wyemigrować do Palestyny, gdzie działał w Reprezentacji Żydostwa Polskiego. Od 1940 był już samodzielnie przewodniczącym światowego Agudat Israel, z czasem został wybrany przewodniczącym partii również w Palestynie. Mieszkał w Jerozolimie.
14 maja 1948 został jednym z sygnatariuszy Deklaracji niepodległości Izraela. Jednocześnie wszedł, jako minister opieki społecznej, w skład utworzonego w tym samym dniu, tymczasowego rządu Izraela pod przywództwem Dawida Ben Guriona.
W wyborach parlamentarnych w 1949 po raz pierwszy dostał się do izraelskiego parlamentu z listy Zjednoczonego Frontu Religijnego, skupiającego różne ugrupowania religijne. W pierwszym rządzie Izraela, powołanym 10 marca, pozostał na stanowisku ministra opieki społecznej. Funkcję utrzmał również w urzędującym od 1 listopada 1950 do 8 października 1951 drugim rządzie Ben Guriona.