Według Reichera Rumkowski odmówił wysłania chorych dzieci do szpitala, nalegając, aby ten zajmował się nimi na miejscu. Reicher uważał, że Rumkowski chciał w ten sposób uchronić się przed oskarżeniami o nadużycia. Według powtarzanych plotek Rumkowski miał również romansować z pracownicami sierocińca.
W grudniu 1937 roku żona Rumkowskiego zmarła na chorobę nowotworową.
Rumkowski w Łodzi mieszkał przy ul. Kilińskiego 105, w tym samym budynku mieszkał także jego brat. Był stałym bywalcem synagogi Ohel Jakow.