Pod koniec XVI wieku, na skutek licznych uszkodzeń i braku modernizacji, funkcja ochronna murów obronnych Chojnowa zaczęła maleć. Miasto było wielokrotnie plądrowane, między innymi podczas wojny trzydziestoletniej, co dodatkowo przyczyniło się do degradacji fortyfikacji. W latach 1806–1813 Chojnów znajdował się na trasie przemarszów wojsk biorących udział w wojnach napoleońskich, co wpłynęło na osłabienie obronności miasta. Kluczowym momentem było jednak wycofanie się wojsk francuskich w 1813 roku, podczas którego zniszczono większą część miejskich fortyfikacji. Proces dalszej rozbiórki pozostałości murów przyspieszył po 1845 roku, kiedy to rozpoczęła się intensywna rozbudowa miasta poza średniowieczny obwód obronny. Pomimo tego Baszta Tkaczy, jako jedna z niewielu budowli obronnych, została zachowana.
Z czasem wieża ewoluowała z obiektu militarnego w przestrzeń o znaczeniu kulturowym i edukacyjnym. W 1903 roku w Chojnowie rozpoczął się proces organizacji pierwszego miejskiego muzeum, na siedzibę którego wytypowano Basztę Tkaczy. Otwarcie placówki poprzedziła generalna renowacja, jaką wieża przeszła w latach 1904–1905;