Lustigerowie ze sceptycyzmem odnosili się do zmiany wiary swoich dzieci (Arlette przyjęła chrzest w późniejszym czasie). Gdy niemieccy naziści i ich francuscy kolaboranci rozpoczęli obławę na Żydów w okupowanej od 1940 roku Francji, Gisèle-Léa Lustiger ukrywała się w Paryżu. W 1941 roku zadenuncjował ją chcący uzyskać przychylność władz okupacyjnych sąsiad, wskutek czego została aresztowana przez Gestapo. Niedługo później wysłano ją do obozu przejściowego w Drancy, skąd następnie trafiła do obozu koncentracyjnego Auschwitz, gdzie została zamordowana w 1943 roku. W tym samym czasie jej mąż wraz z synem przebywali i pracowali w tzw. „wolnej strefie”.
Po wyzwoleniu Francji spod okupacji niemieckiej w 1945 roku ojciec Jeana-Marie, który przeżył wojnę (zmarł w 1982 roku), nie potrafił się pogodzić z decyzją syna o zmianie religii i podjął starania o unieważnienie jego chrztu. Gdy Jean-Marie oświadczył mu, że chce zostać księdzem, Charles Lustiger nie rozmawiał z nim przez dwa lata.