Na stanowisku zarządcy niemieckiej siły roboczej wkrótce zastąpił go minister uzbrojenia Fritz Todt, a później Albert Speer. Jako że niemieccy robotnicy byli coraz częściej powoływani do służby wojskowej, w zakładach zastępowali ich Francuzi, agitowani przez kolaboracyjny rząd w Vichy, a później przymusowi pracownicy z Polski, Ukrainy i innych krajów Europy Wschodniej. Ley odgrywał pewną rolę w organizacji siły roboczej w trakcie wojny, jednak w 1942 r. został on zdeklasowany przez Fritza Sauckela, Głównego Pełnomocnika ds. Dystrybucji Pracy (Generalbevollmächtigter für den Arbeitseinsatz). Niemniej jednak Ley był współodpowiedzialny za złe traktowanie zagranicznych przymusowych robotników. W październiku 1942 r. uczestniczył w spotkaniu w Essen z Paulem Pliegerem (szefem ogromnego kombinatu przemysłowego Hermann Göring Werke) oraz przedstawicielami niemieckiego przemysłu węglowego. Dosłowny zapis przebiegu spotkania był w posiadaniu jednego z menedżerów. Współczesny historyk napisał: Kluczowym zagadnieniem podczas obrad była kwestia traktowania Rosjan. Robert Ley jak zwykle był pijany. A gdy Ley był pijany, miał skłonność do mówienia wprost tego, co myślał... Przy tak ogromnym ryzyku nie było miejsca na litość bądź uprzejmość.