Gdy miał sześć lat, znalazł się pod opieką Karnoffskich, żydowskiej rodziny pochodzącej z Litwy, która przyjęła go do siebie, karmiła i wychowywała traktując jak członka rodzinySatchmo and the Jews.. Jako dziecko uczęszczał do szkółki niedzielnej, gdzie dużo śpiewał.
W 1914 trafił do zakładu poprawczego za nielegalne korzystanie z broni palnej. Tam zafascynował się muzyką, rozpoczął naukę śpiewu, uczył się grać na kornecie i grał w zakładowej orkiestrze dętej, której ostatecznie został kierownikiem muzycznym. Po opuszczeniu zakładu poprawczego w 1915 zamieszkał z ojcem i macochą, Gertrudą; z tego związku miał troje przyrodniego rodzeństwa: braci Williego i Henry’ego oraz siostrę Gertrudę. Po wyjściu na wolność kontynuował grę na kornecie, m.in. występował w knajpach, a także na potańcówkach, piknikach miejskich, pochodach świątecznych i pogrzebach. Na zakup własnego instrumentu dał mu zaliczkę Morris KarnoffskyLaurence Bergreen Louis Armstrong: an extravagant life.. Przez kolejne lata dorabiał, rozwożąc węgiel w C.A. Andrews Coal Company i sprzedając gazety, pracował także m.in. przy rozładunku towaru w porcie oraz jako pomocnik rozwoziciela mleka i pracownik firmy wyburzającej stare budynki. Ok. 1917 współtworzył zespół instrumentalny, podjął też naukę gry na kornecie u Joe King Olivera.