Z działalnością Rumkowskiego jako prezesa „Helenówka” wiązały się również kontrowersje. W latach 1931–1932 były pracownik placówki, Jechiel Kac, opublikował kilka artykułów na łamach miesięcznika „Dos Kind”, a rok później także 64-stronnicową broszurę, w których zawarł szereg oskarżeń pod adresem Rumkowskiego. Zarzucał mu m.in. nieznajomość zasad pedagogiki, zatrudnianie osób bez odpowiednich kwalifikacji, brak dbałości o wyżywienie i zdrowie wychowanków oraz stosowanie wobec nich przemocy fizycznej. Najcięższe spośród sformułowanych przez Kaca zarzutów miały charakter obyczajowy i dotyczyły molestowania seksualnego nastoletnich wychowanek „Helenówka”, którego miał się dopuszczać Rumkowski. W żadnej z tych spraw nie wszczęto oficjalnego dochodzenia, Solomon Bloom przytacza relację, według której przeciw Rumkowskiemu prowadzone było śledztwo, miało jednak zostać umorzone niedługo przed rozpoczęciem procesu. Dermatolog w swojej relacji wspomina, że w latach 30. XX wieku opiekował się mieszkającymi w sierocińcu dziećmi, które cierpiały na choroby weneryczne.