Wygaśnięcie konfliktów na pograniczu polsko-śląskim oraz wzrost zaangażowania Jagiellonów na wschodzie, doprowadził do stopniowego spadku wysokiej rangi zamku jaką posiadał w XV w. Warownia została odbudowana dopiero w drugiej połowie XVI wieku. W XVI wieku starostwo wieluńskie zostało włączone do dóbr stołowych (prywatnych) królowej Bony Sforzy. Od tego czasu, stosunkowo często wieluński zamek gościł królewskie małżonki lub siostry. Nierzadko były to pobyty wielomiesięczne. Jesień 1553 r. spędziła na zamku, królowa węgierska Izabela Jagiellonka i tu przyjmowała poselstwa. Latem 1559 r. zamek gościł królową Katarzynę Habsburżankę, trzecią żon Zygmunta Augusta oraz jego siostry Annę i Katarzynę. Królowa przebywała w Wieluniu również jesienią 1559 r. oraz dziewięć miesięcy w roku 1566, przed swoim wyjazdem z Polski. W 1588 roku pod miastem stanęły wojska arcyksięcia Maksymiliana Habsburga, pretendenta do korony polskiej. Z obawy przed zniszczeniami podstarości, pod nieobecność starosty Aleksandra Koniecpolskiego, poddał miasto i zamek Habsburgowi. Arcyksiążę przebywał w Wieluniu od 13 do 22 stycznia 1588 roku. W 1631 r. w Wieluniu wybuchł wielki pożar, który zniszczył zamek tak bardzo, że pozostały jedynie mury i dwa sklepione pomieszczenia służące za archiwum.