Historia thumb|left|Scharley in Oberschlesien, litografia Ernsta Wilhelma Knippla, przedstawiająca odkrywkową kopalnię rudy cynku Scharley w Szarleju, około 1855 r. Osadnictwo pradziejowe na terenie obecnego Szarleja sięga co najmniej czasów kultury łużyckiej. W XIV wieku istniała tu już osada górnicza. Pierwsza pisemna wzmianka o Szarleju pochodzi z 1534 roku. Na terenie dzielnicy czynne były liczne szyby kopalń rud żelaza i metali nieżelaznych: Wilhelmine, Otto, Szarlej i Nowa Helena.
1 stycznia 1896 roku Szarlej został oddzielony od Niemieckich (Wielkich) Piekar, a zarządcą nowej gminy Szarlej został Niemiec Wilhelm Taube. 1 kwietnia 1934 roku Szarlej został ponownie połączony z Wielkimi Piekarami w gminę Szarlej-Wielkie Piekary, po czym 3 września 1935 nazwę zmieniono na Piekary Śląskie.
23 lutego 1919 roku w Szarleju zawiązało się gniazdo Polskiego Towarzystwa Gimnastycznego „Sokół” na Górnym Śląsku, które w 1920 roku liczyło 265 członków.