Ioffe był pierworodny, miał siostry Nadieżdę, Lidię i Zinajdę, brata Piotra. Rodzina była wzorcowa dla inteligencji rosyjskiej, wolnomyślicielska i postępowa, wieczorami wspólnie słuchano muzyki, rozmawiano o wydarzeniach politycznych, czytano gazety, rodzice prowadzili dom otwarty dla przyjaciół i znajomych, dzieci były zdolne i ciekawskie. Ioffe biegle czytał w wieku 3 lat, pisał w wieku 4 lat, lubił pisać szkice, które odzwierciedlały jego dziecięce wrażenia.
Wykształcenie W latach 1888–1897 uczył się w szkole realnej w Romnach, gdzie nauczano bardzo formalnie, uczono zapamiętywania, rozumienie było zbędne i szkodliwe, wykształceni nauczyciele byli nastawieni wrogo do uczniów, brak kursu łaciny dawał prawo tylko do studiów technicznych. Uczniami byli późniejszy amerykański inżynier mechanik Stepan Tymoszenko, do 6. klasy kolega ze szkolnej ławy Ioffego, i jego o rok młodszy brat, inżynier architekt Sergiusz Tymoszenko, minister komunikacji Ukraińskiej Republiki Ludowej w latach 1919–1920 i uczestnik II pochodu zimowego 1921 roku przeciw Rosji Radzieckiej, w II Rzeczypospolitej wołyński poseł w latach 1935–1938 i senator w latach 1938–1939.