Żuromin podupadł. W mieście szerzyło się pijaństwo na skutek propinacji. Walcząc z tym zjawiskiem w połowie XIX wieku utworzono przy kościele bractwo trzeźwości.
W 1863 roku mieszkańcy miasta i okolic czynnie wzięli udział w powstaniu styczniowym. Potyczki z wojskami rosyjskimi miały miejsce w okolicach Żuromina 8 lutego 1863 roku, w Poniatowe 10 sierpnia 1863 roku oraz pod Osówką 14 października 1863 roku. Świadectwem tych wydarzeń są mogiły powstańcze na okolicznych cmentarzach. Po powstaniu styczniowym władze rosyjskie zlikwidowały dobra kościelne w Żurominie. Miasto opuścili reformaci.
1 czerwca 1869 roku ukazem carskim Żuromin wraz innymi miastami Mazowsza został zdegradowany do roli osady. Był gminą wiejską zarządzaną przez wójta i zgromadzenie gminne. Pod koniec XIX wieku Żuromin miał trzy ulice: Mławską, Zamurną i Poniatowską oraz trzy duże rynki: Stary, Nowy i Zielony, na których w dni targowe tkwił handel. Ponadto posiadał synagogę, szkołę początkową, urząd gminy, kasę wkładowo-zaliczkową, przytułek dla ubogich. W 1897 roku mieszkało w Żurominie 3119 mieszkańców. Osada była ogólnie zaniedbana. Brak urządzeń kanalizacyjnych i wodnych wpłynął na niski stan higieniczny. Szerzyły się choroby. Nadal dominowało budownictwo drewniane. Mieszkańcy żyli ubogo. Wielu nie posiadało ziemi, nie pracowało.