W 1724 roku zakon jezuitów zbudował w mieście klasztor oraz pierwszą szkołę. W 1753 roku zmarło 11 Żydów (po odarciu ze skóry) z 24 oskarżonych o porwanie i zabójstwo dziecka. Pozostali Żydzi uratowali życie ponieważ przeszli na katolicyzm. W 1761 roku zbudowano drewniany kościół bernardynów pw. św. Jana z Dukli oraz murowany klasztor dla zakonników. W drugiej połowie XVIII wieku klasztor jezuicki został przebudowany oraz powstał klasztor benedyktynów. W 1765 roku w mieście było 5 świątyń (3 katolickie, 2 greckokatolickie) i 285 domów. W 1766 biskup Józef Andrzej Załuski sprowadził do miasta siostry szarytki. Mieszkańcy Żytomierza wsparli konfederację barską. W zemście w 1769 Rosjanie najechali miasto i dokonali masakry mieszkańców.
W zaborze rosyjskim W wyniku II rozbioru Polski Żytomierz wszedł w skład Rosji jako miasto powiatowe. Od 1804 roku stał się w miejsce Łucka stolicą nowo powołanej guberni wołyńskiej (do 1918 roku), która składała się z dawnego województwa wołyńskiego i zachodniego fragmentu województwa kijowskiego. Po reformie administracji kościelnej w 1798 roku miasto stało się stolicą diecezji katolickiej, a w 1799 roku także greckokatolickiej. mały|lewo|Teatr w Żytomierzu w XIX wieku W 1820 spłonął drewniany kościół bernardynów.