W nocy z 23 na 24 kwietnia 1804 w wyniku trzęsienia ziemi spadł krzyż soboru i uległa zniszczeniu piąta kopuła, która w późniejszym czasie została usunięta. We wrześniu 1812 rozpoczęto budowę nowej dzwonnicy. Sam dzwon powstał wcześniej, odlany został w 1797 i ważył 12 ton. Był największym dzwonem w mieście, stąd też wzięła się jego nazwa – „Wielki”. Od momentu powstania, dzwon wisiał na słupach – dopiero 30 marca 1815 został przeniesiony do nowej dzwonnicy, wybudowanej w stylu rosyjskiego klasycyzmu. 10 czerwca została ona pokryta żelazem i zwieńczona krzyżem. Podczas dwudniowego pożaru w lipcu 1879 „Wielki” dzwon uległ stopieniu.
W dniach 30–31 grudnia 1861 miasto nawiedziło kolejne trzęsienie ziemi, w wyniku którego sobór doznał uszkodzeń: gzymsów, prawie wszystkich łuków; w ikonostasie Piotra i Pawła uszkodzeniu uległy dwie kolumny.
W połowie XIX wieku, tuż przy soborze wybudowano (wpierw z drewna, a następnie z kamienia) – pałac biskupi, w którym znajdowały się pomieszczenia mieszkalne i pokoje administracyjne. Powstała także biblioteka (z bogatym zbiorem prawosławnej literatury) i szkoła dla duchowieństwa;