Mieszkał w pałacyku przy ulicy Targowej 61. W pierwszych tygodniach niemieckiej okupacji pracował jako dozorca w swoim pałacu. W grudniu 1939 roku koncern Goeringa postanowił prawnie przejąć „Widzewską Manufakturę” i uczynił to za sprawą SS. Kon został, wraz z żoną, przewieziony do Genewy (gdzie znajdował się bank będący depozytariuszem akcji fabryki) i tam dokonano transakcji, która uratowała życie fabrykantowi. Po wojnie osiadł najpierw w Meksyku, prowadząc nadal intratne spekulacje finansowe, a ostatecznie osiedlił się w Argentynie. Był sympatykiem syjonizmu.
Rodzina Był dwukrotnie żonaty. Z pierwszego związku z Marią z d. Rubin miał sześcioro dzieci, z których troje pierwszych zmarło przed osiągnięciem pełnoletności. Kolejne to:
Henryk (przemysłowiec; pomógł ojcu wyciągnąć przedsiębiorstwo z powojennych długów, ale popadł z nim w konflikt z powodu braku akceptacji dla swojego wyboru żony), Maksymilian (prawnik, znany w Łodzi skandalista, filantrop, konsul honorowy Szwecji w Łodzi; wyjechał do USA tuż przed wybuchem II wojny światowej). Maksymilian mieszkał wraz z matką w okazałej wilii na Widzewie przy obecnej ul.