Podczas okupacji niemieckiej, w latach 1941–1945, koszary Zawady wraz z przylegającym do nich placem apelowym i stadionem sportowym były ogrodzone drutem kolczastym. Niemcy urządzili tu → Stalag 367 Nordkaserne – obóz jeniecki, w którym od 1941 przetrzymywano żołnierzy sowieckich, a od 1943 włoskich. W październiku 1946 r. Zarząd miasta Częstochowy przekazał teren w długoletnią bezpłatną dzierżawę Międzyszkolnemu Klubowi Sportowemu Legion. Od tej pory, głównie siłami młodzieży tego klubu, a od 1948 (po połączeniu Legionu z Częstochowskim Klubem Sportowym) Koła Sportowego Brygada starano się doprowadzić do użytku zdewastowany przez wojnę obiekt. W 1949 i 1950 młodzież organizowała na bieżni stadionu wyścigi motocyklowe. W 1956 gospodarzem obiektu stał się Częstochowski Klub Sportowy Budowlani. Klub był wielosekcyjny, dopiero u progu lat 60 XX w. zaczęła dominować w nim lekkoatletyka.
W latach 1962–66 doszło do gruntownego remontu stadionu, przebudowa została wykonana według projektu i pod nadzorem inż. Henryka Sącińskiego, lekkoatlety, później działacza klubu.