Rodzina W dzieciństwie został poślubiony córce miejscowego ortodoksyjnego rabina imieniem Cecylia (1877-1949). Nie chcąc dopuścić, by dzieci znalazły się pod wpływem przekonań, które on sam uważał za zabobony, wysłał je na nauki w głąb Rosji.
Jednym z jego synów był Henryk Kaltmann (ur. 21 grudnia 1899 we Włocławku, zm. 3 grudnia 1943), który 9 maja 1925 roku uzyskał dyplom lekarski w Wiedniu. Pracował jako wolontariusz na Oddziale B Szpitala św. Łazarza i Kasie Chorych w Warszawie oraz w klinikach zagranicznych w Berlinie i w Wiedniu. W latach 1925–1939 prowadził klinikę rentgenologiczną w Warszawie, wspólnie z żoną Ewą z Rozenzwajgów. Jako porucznik lekarz 9 Szpitala Okręgowego wziął udział w kampanii wrześniowej, następnie był internowany na Węgrzech. Zmarł na gruźlicę przebywając w obozie jenieckim.
Córkami Abrama i Cecyli Kaltmannów były też Stefania Janina (1907-1969) i Helena (1912-1943). W trakcie II wojny światowej, Stefania mieszkała na terenie getta warszawskiego, podobnie jak Ewa Kaltmann ze swoją córką, Joanną Ludwiką (ur. 22 czerwca 1929). Ewa Kaltman prawdopodobnie zginęła w trakcie powstania w getcie warszawskim. Stefania i Joanna przeżyły wojnę.