Budowa nowej siedziby gimnazjum spowodowana była ciągłym wzrostem liczby uczniów, którzy najpierw uczyli się w gmachu przy dzisiejszej ulicy Młyńskiej 4 (nieistniejący budynek, w miejsce którego powstał gmach Urzędu Miasta Katowice), a potem w budynku na rogu dzisiejszych ulic: J. Słowackiego i 3 Maja (obecny gmach VIII Liceum Ogólnokształcącego im. Marii Skłodowskiej-Curie). Decyzję o budowie nowego gmachu dla gimnazjum miejskiego podjęto 8 kwietnia 1896 roku, a rok później władze wydały zgodę na budowę.
Prace budowlane nad nowym gmachem rozpoczęto w 1898 roku. Wówczas to pojawiły się problemy z podmokłym gruntem – stąd też w grunt wbito kilkaset pali, na których powstały fundamenty szkoły. Dnia 9 października 1900 roku zorganizowano uroczysty pochód do nowego gmachu, zaś w dotychczasowym budynku przy obecnej ulicy 3 Maja urządzono szkołę żeńską. Przed I wojną światową szkoła miała adres Uferstrasse 13, a następnie August Schneider Strasse 13. Miała wówczas 16 sal ogólnych, salę wykładową i aulę. W latach 1911–1914 roku do budynku dobudowano skrzydło od strony ulicy J. Słowackiego, łączące gmach główny z salą gimnastyczną.