W 1938 r. Hore-Belisha postulował przeprowadzenie poboru do wojska, ale sprzeciwił się temu Chamberlain. Podczas swojego urzędowania Hore-Belisha podniósł żołd, emerytury, zwiększył możliwość awansu żołnierzom pochodzącym z rodzin robotniczych, poprawił stan baraków wojskowych oraz przyznał żonatym żołnierzom prawo mieszkania z rodzinami. Na początku 1939 r. uzyskał zgodę gabinetu na przeprowadzenie powszechnego poboru. Minister doprowadził również do zmian personalnych w Imperialnym Sztabie Generalnym, co spotkało się ze złym przyjęciem ze strony najwyższych dowódców, m.in. szefa tego sztabu, lorda Gorta.
Hore-Belisha został nagle zdymisjonowany ze stanowiska w styczniu 1940 r. Było to zwieńczenie konfliktu ministra z kolegami z gabinetu oraz z lordem Gortem. Chamberlain zaproponował Hore-Belishy stanowisko ministra informacji lub przewodniczącego Zarządu Handlu, ale były minister odmówił i wycofał się z gabinetu. W 1942 r. opuścił Narodową Partię Liberalną i przez kolejne lata zasiadał w Izbie Gmin jako deputowany niezależny. W rządzie dozorującym Churchilla w 1945 r. był ministrem zabezpieczenia socjalnego.