Podczas oblężenia zamek został mocno uszkodzony, a jego odbudową kierował kolejny starosta, Joachim Ocieski. Po jego śmierci zamek popadł w ruinę, gdyż sprawujący swoje obowiązki od 1613 r. starosta Mikołaj Wolski nie dość dobrze dbał o zamek, koncentrując się na utrzymaniu rezydencji w Krzepicach. Już w czasie lustracji z 1631 roku obiekt był mocno zniszczony.
W czasie potopu Szwedzi zrujnowali zamek i spalili miasto, gdy część sił idących na Częstochowę zaatakowała w październiku 1655 roku zamek w Olsztynie, który po krótkim oblężeniu został zdobyty i zrujnowany. Po zakończeniu wojny zamek był ruiną niezdatną do użytkowania, a wobec rozwoju artylerii zamki starego typu straciły wartości obronne. Królewski fortyfikator Krzysztof Mieroszewski prowadził w tym czasie prace w zamku, ale ich efekt był niewielki i ostatecznie zaniechano odbudowy ze względu na wysokie koszty tego przedsięwzięcia. Podczas budowy w latach 1722–1726 kościoła parafialnego rozebrano duże fragmenty dolnych partii zamku. Do końca tego stulecia przetrwało starostwo olsztyńskie.
W XIX w.