Do 1841 w jego miejscu wzniesiono kościół murowany, a klasztor bernardynów stał się seminarium katolickim. W latach 1816–1840 wzniesiono klasztor szarytek. W 1841 roku zburzono barokowy kościół jezuitów.
Około połowy XIX wieku w Żytomierzu zamieszkał Józef Ignacy Kraszewski. Pełnił tu m.in. funkcje kuratora szkół polskich, dyrektora Teatru Żytomierskiego i Klubu Szlacheckiego. Przy jego wsparciu wzniesiono w mieście nowy gmach teatru.
Podczas powstania styczniowego Żytomierz był trwałym i silnym punktem oparcia dla polskich powstańców. Jednym z bardziej znanych powstańców styczniowych związanych z miastem był Marian Karol Dubiecki, który potem w swojej książce Na kresach i za kresami podał wiele cennych wiadomości o mieście. Po powstaniu w 1865 władze carskie zamknęły klasztor szarytek. mały|Żytomierz, początek XX wieku W 1897 roku miasto liczyło 66 tys. mieszkańców, w tym około 31 tys. Żydów, około 25 tys. greko-katolików i 9 tys. katolików i blisko tysiąc staroobrzędowców.