Jego rodzicami byli syn kupca Wulf Mortchelewicz Ioffe i Rochl-Genja Szaweł-Wolfowna Ioffe, rodzina mieszkała w litewskim mieście Kowno.
Stryj Émile Joffé, urodzony Efroim-Zelman Wulfowicz, fotograf Kodak w Paryżu, złoty medalista salonu fotograficznego w Nicei w 1899 roku, twórca czeskiej kinematografii, w latach 1896–1897 słynny z pokazów kinematograficznych w Pradze, uzdrowiskach Karlowe Wary i Cieplice, miastach Bílina, Trutnov i Písek. W latach 1897–1905 mieszkał w pensjonacie Vila Ludmila uzdrowiska górskiego Jańskie Łaźnie, obrazował życie mieszkańców, szlak turystyczny Karkonoskiego Parku Narodowego, ogrom szkód powodziowych z lipca 1897 roku w miejscowości Szpindlerowy Młyn, gdy po kilkudniowych obfitych ulewach w Karkonoszach i Górach Izerskich wylewy Łaby i jej lewych dopływów rozrywały skały i niszczyły domy, w Czechach zginęło 120 osób i wynikła powódź w Kotlinie Jeleniogórskiej. Od 1908 roku mieszkał w uzdrowiskach Alp Retyckich, w 1913 roku osiadł w Merano we włoskich Sarntaler Alpen, w 1938 roku faszyści wpisali go na listę Żydów, a w 1939 roku dodali „rasa żydowska”, po czym kwestura Bolzano zapewniła mu pobyt.