siostra zmarła w trakcie porodu. Ostatni z rodzeństwa, Norman, urodził się 29 grudnia 1922.
Benjamin, ojciec Leo, po krótkim pobycie w redakcji „The New York Times” w 1909 roku znalazł pracę jako zecer w „Jewish Daily Forward”, gdzie spędził kolejne 50 lat. Benjamin uważał siebie za Żyda w ujęciu kulturowym, nie religijnym, przez co nie spędzał czasu w lokalnych synagogach. „Nikt nie był bardziej zainteresowany żydowską tożsamością i historią niż mój ojciec”, wspominał Norman, młodszy brat Leo. W trakcie swojej kariery Benjamin napisał ponad 200 artykułów w jidysz opublikowanych przez jego gazetę. „Był intelektualistą, wciąż czytającym książki i gazety”, mówił Norman.
Dorastał na Wilkins Avenue we wschodnim Bronksie. Mieszkali tam głównie Żydzi, z niewielką liczbą Włochów, Niemców i Irlandczyków. Jidysz był tam czymś w rodzaju lingua franca, językiem używanym potocznie przez tamtejszych mieszkańców. Był on również podstawowym językiem Leo nawet wtedy, gdy już uczęszczał do szkoły podstawowej. Dopiero kolejne były języki angielski i hebrajski. Leo był muzycznie utalentowanym chłopcem. W młodości grał na skrzypcach i na harmonijce. W 1920 roku kilka gazet ze wschodniego wybrzeża sponsorowało konkursy na rzecz sierot, które straciły rodziców w pożarze fabryki należącej do Triangle Waist Company, 25 marca 1911 roku.