Hylzena łączyły wręcz przyjacielskie stosunki z Janem Fryderykiem Sapiehą kasztelanem trockim. Obydwaj byli bardzo wykształconymi ludźmi, obydwaj zajmowali się historią. W czasie sejmu walnego w 1738, na który posłował z Inflant, został u Sapiehy Rejentem Kancellaryi pieczęci większej litewskiej. Powołany starostą grodowym brasławskim 4 lipca 1739, a 1 sierpnia 1744 król mianował go kasztelanem inflanckim. W związku z tą funkcją został również senatorem. W roku 1749 został wybrany deputatem do Trybunału Litewskiego w Wilnie i jego marszałkiem. Jako delegowany od Rzeczypospolitej podpisał pacta conventa Stanisława Augusta Poniatowskiego w 1764 rokuAkt elekcyi Roku Tysiąć Siedemset Sześćdziesiątego Czwartego, Miesiąca Sierpnia, Dnia dwudziestego siódmego, s. 20..
Hylzen zatroszczył się również o po wioskach nad Dźwiną porozrzucanych w nieładzie mieszkający lud jeszcze nieoświecony i prawie dziki. Będąc bardzo pobożnym, przy udziale brata Jerzego biskupa smoleńskiego, zakładał w swoich dobrach w Inflantach misje, fundował szpitale, sprowadzając do nich panny miłosierdzia, budował szkółki we wsiach. Jego zaufanym współpracownikiem i plenipotentem był ksiądz Michał Roth nazywany apostołem łotewskim. Był fundatorem parafialnego kościoła w Dagdzie.