W grudniu 1777 stracił posadę w Departamencie Sprawiedliwości, poparcie możnych przyjaciół, a wkrótce potem skazano go na grzywnę i 7-dniowy areszt w wieży górnej marszałkowskiej. Bezpośrednią przyczyną tych zdarzeń było opublikowanie memoriału skierowanego przeciwko łamaniu prawa w osobie kasztelana podlaskiego Józefa Wilczewskiego. Kasztelan ten pół roku wcześniej dokonał zajazdu na dwór Werstok przekazanego przez sąd grodzki ojcu Węgierskiego za niespłacony dług kasztelana, w trakcie którego zamordowano dwie osobyDokumentacja sporu Węgierskich z Wilczyńskimi: AGAD. Zbiór Popielów, k. 333-352.. Po odbyciu kary Tomasz Kajetan przez jakiś czas przebywał na dworze Aleksandry Ogińskiej w Siedlcach, gdzie wystawiono „Pigmaliona” Rousseau w jego przekładzie i w Radzyniu Podlaskim, w majątku starosty urzędowskiego Kajetana Potockiego. W 1779 wraz z Potockim wyruszył w podróż po Europie odwiedzając kolejno: Spa, Akwizgran, Frankfurt nad Menem, Kolonię, Moguncję, by w październiku dotrzeć do Włoch.