W chwili śmierci Kazimierza Wielkiego w listopadzie 1370 roku murowany zamek był niemal ukończony. Zamek wraz z miastem w tym czasie z woli króla dzierżył Aleksander Koriatowic. Wkrótce potem książęta litewscy Lubart i Kiejstut korzystając z zamieszania po śmierci króla najechali i zajęli Włodzimierz. Nową murowaną warownię Kazimierza Wielkiego zburzono, podczas gdy starszy zamek drewniany nadal mógł być użytkowany. W interpretacji Paniszki przekaz Jana z Czarnkowa wskazuje więc, że w 1370 roku we Włodzimierzu istniały dwa odrębne założenia obronne - starsze drewniane i nowy zamek murowany.
Zamek starościński w XV wieku Po zburzeniu murowanej warowni miasto nadal wymagało umocnionego ośrodka administracyjnego. W XV wieku powstał na obszarze dzisiejszych Wałów duży zamek drewniano-ziemny, pełniący funkcję siedziby administracji hospodarskiej, a następnie starościńskiej.
Rewizja z 1552 roku podawała, że zamek został wzniesiony z drewna dębowego około 80 lat wcześniej staraniem horodniczego Sołtana, co wskazywałoby na lata około 1470 roku. Informacja ta współgra z wynikami badań archeologicznych z 2018 roku, które pozwoliły datować usypanie obecnego wału dopiero na XV wiek.