W 1370 r. król Ludwik Węgierski przekazał Olsztyn z ziemią wieluńską w lenno swemu kuzynowi, księciu opolskiemu Władysławowi Opolczykowi za popieranie królewskich planów dynastycznych. W 1391 r. na rozkaz Władysława Jagiełły po tygodniowym oblężeniu zamek zdobył Spytek z Melsztyna i przywrócił go KoronieJ.Laberschek, Wojna króla Władysława Jagiełły z księciem opolskim Władysławem. Batalia o odzyskanie Olsztyna, Częstochowy, Kłobucka, Krzepic i Wielunia w 1391 r., Almanach Częstochowy 1993, s. 5–10.. W 1406 r. podgrodowa osada nazywana wówczas Olsztynkiem została siedzibą starostwa. W 1439 roku burgrabią zamku był Jan Służka z Mirowa herbu Wołha (Pogoń)J. Laberschek, Służka Jan z Mirowa h. własnego, Polski Słownik Biograficzny 39, s. 171–172.. W 1488 r. Kazimierz IV Jagiellończyk nadał osadzie prawa miejskie.
W XV wieku powstał tzw. dolny zamek, który prawdopodobnie był rozbudowywany w kolejnym stuleciu. W XV w. zamek odegrał znaczącą rolę przy odpieraniu napadów ze strony książąt śląskich. W tym czasie został rozbudowany, potem był kilkakrotnie przebudowywany z powodu kruszenia się murów wskutek osuwania się skał.