Na Sejmie Repninowskim został jednym z dwóch przewodniczących delegacji sejmowej. W burzliwym dla Rzeczypospolitej okresie konfederacji barskiej Hylzen był przeciwnikiem konfederatów i zwolennikiem Rosji. Popierany przez ambasadorów rosyjskich, szantażował króla, który zmuszony był obdarzyć go nowymi dostojeństwami. W 1768 roku wyznaczony z Senatu do Asesorii Wielkiego Księstwa LitewskiegoKolęda Warszawska na rok 1768, [b.n.s.].. W 1770 roku został wojewodą mścisławskim. Mimo iż po pierwszym rozbiorze Hylzenowi udało się zachować większość majątków i urzędów, doszło do zastopowania jego kariery. Rozczarowany brakiem wyboru do Rady Nieustającej i brakiem kolejnych awansów, nieustannie prosił króla o promocję. W końcu zraził od siebie Stanisława Augusta, który od około 1775 roku przestał wspierać jego karierę. Kiedy liderem partii dworskiej na Litwie został Antoni Tyzenhauz, Hylzen nie chcąc mu się podporządkować, stopniowo odsuwał się od działalności politycznej. W 1776 roku podpisał akt konfederacji Andrzeja MokronowskiegoVolumina Legum, t. VIII, Petersburg 1860, s. 527..