Kolejne prace prowadził prymas Jan Wydżga, jednak po jego śmierci w 1685 roku zamek został obrabowany i zdewastowany. Po 1688 roku wyremontował go prymas Micha Radziejowski i już dwa lata później gościł na zamku króla Jana III Sobieskiego z dworem.
XVIII - XX wiek Po 1723 roku prymas Teodor Potocki wyremontował zamek górny. Zamek został poważnie uszkodzony podczas konfederacji barskiej i następnie częściowo rozebrany. W 1761 roku w oficynie zamkowej umieszczono drukarnię prymasowską. W 1766 roku na zamku otworzono archiwum grodzkie. W 1787 roku prymas Michał Poniatowski uruchomił na zamku manufakturę płótna, której dyrektorem był Francuz Nadal de Sobreville, a po nim Andrzej Zawadzki. W 1791 roku manufaktura dawała pracę 4 tys. osób. Po zajęciu zamku przez wojska pruskie 1 marca 1793 roku manufakturę zlikwidowano, a w pomieszczeniach zamku zakwaterowano pruskich żołnierzy, umieszczono magazyn amunicji i zbożaKrzysztof Fafiński, Antoni Zawadzki największy kupiec łowicki: dzieje rodu w latach 1760-1860, Mazowieckie Studia Humanistyczne, 1999, 5, 1, s. 125-156 .. Około 1818 roku inżynier Jan Groffe uznał, że zamek można po remoncie przystosować na koszary dla pułku polskiej kawalerii, gdyż składa się z parteru i dwóch pięter pokrytych dachem, piwnic i oficyny.