Po ustanowieniu Komisji Skarbowej Edukacyjnej dla guberni wołyńskiej, podolskiej i kijowskiej 12 grudnia 1807 Czacki powołał Rudzkiego do Krzemieńca na stanowisko pisarza kancelarii obsługującej Komisję i powierzył mu prowadzenie spraw dotyczących bezpieczeństwa i egzekucji funduszów edukacyjnych. Na stanowisku tym Rudzki pracował aż do likwidacji Komisji po upadku powstania listopadowego. Był doradcą Czackiego oraz Adama Jerzego Czartoryskiego w sprawach organizacji i reformy szkolnictwa. Pod koniec 1810 roku, po śmierci Józefa Czecha, pierwszego dyrektora liceum, Czacki proponował Rudzkiemu objęcie stanowiska dyrektorskiego, Rudzki jednak odmówił, „woląc poprzedni swój urząd jako mniej zależny i mniej odpowiedzialny”.
W tym czasie został dozorcą krzemienieckiego gabinetu numizmatycznego, nabytego przez Czackiego od sukcesorów Stanisława Augusta. Była to największa kolekcja monet na terytorium ówczesnej Polski. Do Krzemieńca trafiła bez katalogów, złożona „bez porządku w szufladach, szkatułach i workach”. Początkowo gabinetem miał opiekować się Joachim Lelewel, ale po jego wyjeździe przekazano zbiór Rudzkiemu, który przyznając, iż nie zna się na numizmatyce, „miał nadzieję że ze swoją znajomością innych dziedzin, w tym historii, rysunku i języków, oraz z pomocą biblioteki poradzi sobie z uporządkowaniem monet”.