Niestety względy zdrowotne spowodowały, że Hylzen w 1780 musiał porzucić życie lożowe i szukać ratunku poza krajem. Tym samym ostatnie sześć lat życia wojewoda spędził zagranicą, lecząc się i podróżując po Rosji (Petersburg, Ryga), Cesarstwie (Wiedeń), Francji (Paryż) oraz Włoszech (Rzym), gdzie zmarł i został pochowany. Przed śmiercią Hylzen zdążył sporządzić filantropijny testament, którego zapisy nigdy nie zostały zrealizowane.
Majątki Fundament fortuny Hylzena stanowiły dobra otrzymane od ojca w 1760 roku. Ich ognisko stanowiły trzy duże latyfundia położone obok siebie we wschodniej części województwa wileńskiego (Belmont) i zachodnio-północnej województwa połockiego (Hermanowicze). Natomiast po śmierci ojca wszedł w posiadanie położonego przy trakcie z Połocka do Rzeżycy Oświeja. Obok posiadania majątków prywatnych Hylzen dzierżawił dobra królewskie. Najważniejszym z nich było grodowe starostwo brasławskie. Jako jedno z pięciu powiatów województwa wileńskiego starostwo gwarantowało prestiż związany ze zwierzchnictwem nad tamtejszym sejmikiem i sądownictwem, a także zapewniało spore dochody z przysługującej staroście ekonomii. Znacznie mniejszy zysk płynął z położonego w województwie mazowieckim Kazunia oraz pruskiego Parchowa. Oprócz ojcowskich zapisów Józef Jerzy powiększył swój stan posiadania poprzez małżeństwo.