W 1946 roku wraz z rodziną jako repatriant wrócił do Polski. W 1950 roku Halterowie wyemigrowali do Francji i zamieszkali w Paryżu. Tam podjął studia plastyczne w l’Ecole Nationale des Beaux Arts, po ukończeniu których pracował jako malarz. Jego prace zostały wystawione na kilku międzynarodowych wystawach. Zarobione pieniądze przeznaczył na utworzenie – m.in. z Günterem Grassem, Elie Wieselem i Hannah Arendt – Międzynarodowego Komitetu ds. Pokoju na Bliskim Wschodzie, któremu przewodniczył w latach 1967–1973. W tym czasie wraz z żoną Clarą wydawał periodyk Les Elements, poświęcony problemom Bliskiego Wschodu.

W latach 70. zaczął się angażować w obronę praw człowieka i walkę z przejawami totalitaryzmu. Stanął na czele Instytutu Andrieja Sacharowa oraz Międzynarodowego Instytutu Kultury Żydowskiej; był jednym z założycieli organizacji SOS Rasizm;