W związku z opracowywaniem zbioru, powiększanego stale przez różne darowizny i zakupy, zwracał się o konsultację do krajowych i zagranicznych specjalistów w tej dziedzinie. Mimo trwającej szereg lat pracy nie zdołał uporządkować gabinetu, zwłaszcza w zakresie zbiorów nowożytnych, i w latach 1825–1828, z rozporządzenia władz szkolnych, kolekcję przeniesiono do Uniwersytetu Wileńskiego.
W kwietniu 1831 roku, po wykroczeniu na Wołyń powstańczego korpusu generała Józefa Dwernickiego, Rudzki „publicznie zachęcał młodzież do wstępowania w szeregi oddziału”. Za to działanie został później aresztowany i przewieziony do Żytomierza. Po zlikwidowaniu komisji „żył ze skromnej emerytury, pomocy dzieci i pracy guwernerskiej”. Był nauczycielem Dachowskich, potem Antoniego Weselewskiego. Zmarł około roku 1846, mając mniej więcej osiemdziesiąt lat, zapewne w Krzemieńcu. W pamięci osób, które go spotkały, Rudzki pozostał „jako erudyta, gruntownie znający wiele języków, starożytną historię, numizmatykę, heraldykę, prawo i filozofię, mającym duże poczucie humoru i talent gawędziarski”.