Przez pierwsze trzy lata pionierzy byli zmuszeni do życia na niewielkiej wykupionej działce o wymiarach 300 metrów długości i 60 metrów szerokości. Mieszkali w prowizorycznych namiotach i cierpieli od komarów z pobliskich bagien, chorób, ubóstwa i nędzy. Trudne warunki życia i brak podstaw ekonomicznych były przyczyną zniechęcenia i wyjazdu niektórych mieszkańców. W międzyczasie starano się zachęcić arabskich sąsiadów ze wsi Abu Zurajk do odsprzedania części ziem, okazało się to jednak niemożliwe z powodu narastającego arabskiego ekstremizmu. Podczas arabskiego powstania w Palestynie (1936–1939) doszło do ataku na kibuc. Pomimo to, w grudniu 1938 roku rozpoczęto budowę pierwszego domu. W 1942 roku do kibucu dotarła grupa imigrantów z Niemiec – dwa lata później przenieśli się oni do położonego bardziej na północy kibucu Szamir. Następnie do Ha-Zore’a przyjechali imigranci z Bułgarii.