Życie prywatne 27 września 1863 jego żoną została, niespełna dwudziestoletnia wówczas, hrabianka Jekatierina Fiodorowna z d. Tołstaja, córka hr. Fiodora Piotrowicza Tołstoja – rosyjskiego artysty rzeźbiarza, eksperta w dziedzinie sztuki medalierskiej, wiceprezydenta Imperatorskiej Akademii Sztuk Pięknych w Sankt Petersburgu, krewnego Lwa Tołstoja. Mieli czterech synów: Władimira (ur. 23 lipca 1864 w Sankt Petersburgu, zm. 15 września 1902 w Teodozji), Fiodora (ur. 21 listopada 1866, zm. w 1927 w Koktebelu), Aleksandra (ur. 17 lipca 1872 w Sankt Petersburgu, zm. w marcu 1921 w Teodozji) i Siergieja (ur. 19 lutego 1879, zm. we wrześniu (?) 1902 w Koktebelu w wyniku nieszczęśliwego wypadku podczas pogrzebu brata Władimira).
Żona – znamienitego pochodzenia – nie podzielała entuzjazmu, jakim Junge darzył swe plany budowy kurortu w Koktebelu i nie chciała przenosin na stałe do zapadłej wsi, co doprowadziło do faktycznego rozpadu małżeństwa w końcu lat 80. W ostatnich latach życia spędzanych w Koktebelu towarzyszyła mu Nadieżda Wasiljewna Miłowskaja.
Pasjonowała go sztuka starożytnego Egiptu, a pobyt w Egipcie zapoczątkował tworzenie własnej kolekcji dzieł tej kultury.