Życie Jankiel Herszkowicz urodził się w Opatowie, do Łodzi przeprowadził się z całą rodziną tuż przed wybuchem II wojny światowej, w roku 1938. Wraz z całą rodziną był więźniem łódzkiego getta. Jego rodzice i najmłodszy brat zostali we wrześniu 1942, podczas tzw. wielkiej szpery, wywiezieni do obozu zagłady w Chełmnie nad Nerem i tam zamordowani.
Jankiel Herszkowicz dopiero podczas pobytu w getcie zaczął pisać, komponować i wykonywać swoje piosenki na ulicach. Początkowo z tego się utrzymywał. Po wielkiej szperze zmuszony został do zaprzestania koncertów ulicznych. Podjął pracę m.in. w sklepie, piekarni, drukarni (przy dzisiejszej ul. Wojska Polskiego 10) i tu, w miejscu pracy, kontynuował swoją działalność piosenkarską. W sierpniu 1944, podczas likwidacji getta, został wywieziony do obozu koncentracyjnego KL Auschwitz-Birkenau, a stamtąd do obozu pracy w Brunszwiku.
Po wojnie powrócił do Łodzi i nadal zajmował się tworzeniem piosenek. W 1966 jego utwory zostały nagrane przez rozgłośnię Polskiego Radia w Łodzi, jedna z nich zachowała się w taśmotece łódzkiej rozgłośni Polskiego Radia).
Ożenił się i miał dwóch synów.