Po klęsce powstania listopadowego Ludwik Pac wyemigrował, a jego dobra zostały skonfiskowane przez rząd carski – wtedy Raczki zaczęły podupadać. Zlikwidowano fabryki, rozebrano zajazd. W 1839 wzniesiono jednopiętrowy ratusz z wieżyczką, jednak po powstaniu styczniowym i on został rozebrany. W 1870 Raczki utraciły prawa miejskie, a w 1888 zabudowę strawił wielki pożar.
Koniec XIX wieku przyniósł odbudowywanym Raczkom ponowne ożywienie gospodarcze, dzięki rozwojowi handlu z Prusami. I wojna światowa to okres kolejnych zniszczeń, jednak po jej zakończeniu miejscowość pozostaje punktem handlowym z Niemcami oraz siedzibą gminy i dzięki temu nie popada w stagnację. Według Powszechnego Spisu Ludności z 1921 roku Raczki (wraz z kolonią Serebranka) zamieszkiwane były przez 1558 osób, wśród których 980 zadeklarowało wyznanie rzymskokatolickie, 5 prawosławne, 21 ewangelickie, 19 inne chrześcijańskie a 533 mojżeszowe. Jednocześnie 1020 mieszkańców zadeklarowało polską przynależność narodową, 5 białoruską, 17 niemiecką, 10 inną a 506 żydowską.
Był tu kościół katolicki i synagoga (w trakcie II wojny światowej została zniszczona, obecnie nie istnieje). Działał Związek Kupców.