Około 1785 Rostworowski zawarł związek małżeński z Izabelą Małachowską, wojewodzianką sieradzką córką Mikołaja Małachowskiego, siostrą Jana Nepomucena, koneksje z Małachowskimi wciągnęły go w wartki nurt życia politycznego. Był jednym z założycieli w maju 1791 Zgromadzenia Przyjaciół Konstytucji Rządowej. W czasie powstania kościuszkowskiego 27 kwietnia 1794 Rada Zastępcza Tymczasowa mianowała Ksawerego Rostworowskiego oraz Ignacego Zapolskiego osobami przynależnymi do wyprawy generała Filipa Haumana udającego się w pościg za uchodzącymi z Warszawy taborami i artylerią rosyjską. Ta sama Rada, na wniosek Wybickiego, wprowadziła Rostworowskiego do składu powołanej 30 kwietnia 1794 Deputacji Komisyjnej Porządkowej Ziemi Czerskiej. Następnie z rekomendacji tejże Rady, po przeprowadzonej reformie, powołano go 11 czerwca na stanowisko jednego z dwunastu sędziów Sądu Kryminalnego Księstwa Mazowieckiego.