Adam Sitarek podaje, że pierwszym i ostatnim stopniem wykształcenia Rumkowskiego był cheder.
W 1892 roku przybył do Łodzi w ramach dużej fali emigracyjnej Żydów z obszaru Imperium Rosyjskiego, poszukujących lepszego życia w przeżywającym rozkwit gospodarczy Królestwie Kongresowym. Niewiele wiadomo o jego pierwszych latach spędzonych w tym mieście. On sam wskazywał jedynie, że przez pięć lat zajmował bliżej nieokreśloną posadę. W 1898 roku wraz Chaimem i Ejmanem Natanami założył przedsiębiorstwo „Tkalnia Pluszu Spółka z o.o.” z siedzibą przy ul. Wólczańskiej 29, fabryka zatrudniała 15 robotników i posiadała własny silnik gazowy. Jej kapitał zakładowy wynosił 84 ruble. W 1904 roku wraz z innym wspólnikiem, Abem Nejmanem, otworzył fabrykę pluszu z siedzibą przy ul. Piotrkowskiej 116, która zatrudniała 32 robotników. Rok później otworzyli także tkalnię przy ul. Średniej 81 zatrudniającą 20 osób, natomiast w latach 1907–1908 siedziba ich przedsiębiorstwa mieściła się przy ul. Wólczańskiej 29. Spółka zatrudniała wyłącznie Żydów. W 1911 roku wspólnicy rozstali się, a Rumkowski wszedł w spółkę z dwiema innymi osobami. Od lat 1913–1914 Rumkowski prowadził zakłady samodzielnie, zajmował się produkcją pluszu do momentu wybuchu I wojny światowej.